基于深度学习的生成模型的研究.pdf

基于深度学习的生成模型的研究

报告提纲

生成式模型的定义

研究生成式模型的意义

经典的生成式模型：VAE与GAN

GAN的应用

VAE与GAN仍需解决的问题

我们的工作

总结

生成式模型的定义

通常机器学习的任务就是学习一个模型，应用这一模型，对给定

的输入预测相应的输出。对于模型的分类有很多种，其中一种分

类就是把模型分为：判别模型和生成模型两种。

判别模型主要是根据输入图像推测图像具备的一些性质，即：已

知观察变量和隐变量，直接对(|)进行建模。它根据输入的观

察变量直接得到隐变量出现的可能性。

例如：当模型为分类模型时，隐变量则代表类别变量。

生成模型则是要对(,)进行建模，然后求出条件概率分布(|)

作为预测隐变量的模型，即：

(,)()

==

()()

同时，我们也可以根据联合概率分布(,)采样生成观测变量。

生成式模型的定义

通常，我们已知观测变量服从某固定但未知的

分布，与隐变量构成有向概率图。

对于这个概率图，()(隐变量的先验)、(|)

(相对的条件概率)及(|)(隐变量的后验)三

者就可完全描述和的关系。两者的联合分布可

以表示为：

,=()

我们只能观测到，而是隐变量，不能被观测。

生成任务便是通过一个观察集，估计观测变量

与隐变量构成的概率图的相关参数。

生成式模型的定义

对于一个模型，如果它能够建模()、(|)，

我们就称之为生成模型，这有如下两层含义：

I.()、(|)两者决定了观测变量与隐变量的

联合分布(,)。

II.利用两者可以对观测变量进行采样。具体做法

是：先依隐变量的先验概率生成样本点~()，

再依观测变量的条件概率采样~(|)。

生成式模型的定义

借助于深度神经网络强大的建模能力，一些拥有出色生成能

力的新的生成模型陆续出现。这其中，最为典型的代表有：

变分自编码器(VAE)与对抗生成网络(GAN)。

与传统的生成模型PixelCNN相比，VAE与GAN更好地建模

了观测变量与隐变量的关系，即生成样本由隐变量控制。

且隐变量没有过多的约束(例如：nonlinearICA中对隐变量的

维度约束)。

与传统的生成模型BoltzmannMachines相比，VAE与GAN不

需要高复杂度的马尔科夫链的计算。

报告提纲

生成式模型的定义

研究生成式模型的意义

经典的生成式模型：VAE与GAN

GAN的应用

VAE与GAN仍需解决的问题

我们的工作

总结

研究生成式模型的意义

人们可能会问：为什么要研究生成式模型？特别是当生

成式模型只能用来产生数据而不能直接对数据的概率密

度函数进行估计的情况下。

具体地说，在图像的应用中，这类模型好像仅仅是提供更多的