贝叶斯研究论文

贝叶斯研究论文

概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。

如果用一个词来形容概率图模型（Probabilistic Graphical Model）的话，那就是“优雅”。对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系， 最后基于这样的关系图获得一个概率分布 ，非常“优雅”地解决了问题。

概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中 有向边表示单向的依赖，无向边表示相互依赖关系 。

概率图模型分为 贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network） 两大类。贝叶斯网络可以用一个有向图结构表示，马尔可夫网络可以表 示成一个无向图的网络结构。更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。

长久以来，人们对一件事情发生或不发生的概率，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的 概率θ始终都是1/2 ，即不随观察结果X 的变化而变化。

这种 频率派 的观点长期统治着人们的观念，直到后来一个名叫Thomas Bayes的人物出现。

托马斯·贝叶斯Thomas Bayes（1702-1763）在世时，并不为当时的人们所熟知，很少发表论文或出版著作，与当时学术界的人沟通交流也很少，用现在的话来说，贝叶斯就是活生生一民间学术“屌丝”，可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”，翻译过来则是：机遇理论中一个问题的解。你可能觉得我要说：这篇论文的发表随机产生轰动效应，从而奠定贝叶斯在学术史上的地位。

这篇论文可以用上面的例子来说明，“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率θ是多少？”贝叶斯认为取得白球的概率是个不确定的值，因为其中含有机遇的成分。比如，一个朋友创业，你明明知道创业的结果就两种，即要么成功要么失败，但你依然会忍不住去估计他创业成功的几率有多大？你如果对他为人比较了解，而且有方法、思路清晰、有毅力、且能团结周围的人，你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式，便是 贝叶斯式的思考方式。

先简单总结下频率派与贝叶斯派各自不同的思考方式：

贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布，即在有样本之前（或观察到X之前），有着怎样的分布呢？

比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为 先验分布，或着无条件分布 。

其中，先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决，解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如，某工厂每天都要对产品进行质检，以评估产品的不合格率θ，经过一段时间后便会积累大量的历史资料，这些历史资料便是先验知识，有了这些先验知识，便在决定对一个产品是否需要每天质检时便有了依据，如果以往的历史资料显示，某产品的不合格率只有0.01%，便可视为信得过产品或免检产品，只每月抽检一两次，从而省去大量的人力物力。

而 后验分布 π（θ|X）一般也认为是在给定样本X的情况下的θ条件分布，而使π（θ|X）达到最大的值θMD称为 最大后验估计 ，类似于经典统计学中的 极大似然估计 。

综合起来看，则好比是人类刚开始时对大自然只有少得可怜的先验知识，但随着不断观察、实验获得更多的样本、结果，使得人们对自然界的规律摸得越来越透彻。所以，贝叶斯方法既符合人们日常生活的思考方式，也符合人们认识自然的规律，经过不断的发展，最终占据统计学领域的半壁江山，与经典统计学分庭抗礼。

条件概率 （又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。

比如上图，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率：

联合概率：

边缘概率(先验概率)：P(A)或者P(B)

贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。

贝叶斯网络的有向无环图中的节点表示随机变量

它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。

例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示：

简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。

此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出：

1. head-to-head

依上图，所以有：P(a,b,c) = P(a) P(b) P(c|a,b)成立，即在c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立。

2. tail-to-tail

考虑c未知，跟c已知这两种情况：

3. head-to-tail

还是分c未知跟c已知这两种情况：

wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。

通俗来讲，所谓因子图就是对函数进行因子分解得到的 一种概率图 。一般内含两种节点：变量节点和函数节点。我们知道，一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。

举个例子，现在有一个全局函数，其因式分解方程为：

其中fA,fB,fC,fD,fE为各函数，表示变量之间的关系，可以是条件概率也可以是其他关系。其对应的因子图为：

在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-product算法求解。换言之，基于因子图可以用 sum-product 算法 高效的求各个变量的边缘分布。

详细的sum-product算法过程，请查看博文： 从贝叶斯方法谈到贝叶斯网络

朴素贝叶斯(Naive Bayesian)是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。**朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。 **

朴素贝叶斯朴素在哪里呢？ —— 两个假设 ：

贝叶斯公式如下：

下面以一个例子来解释朴素贝叶斯，给定数据如下：

现在给我们的问题是，如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？

这是一个典型的分类问题，转为数学问题就是比较p(嫁|(不帅、性格不好、身高矮、不上进))与p(不嫁|(不帅、性格不好、身高矮、不上进))的概率，谁的概率大，我就能给出嫁或者不嫁的答案！这里我们联系到朴素贝叶斯公式：

我们需要求p(嫁|(不帅、性格不好、身高矮、不上进),这是我们不知道的，但是通过朴素贝叶斯公式可以转化为好求的三个量，这三个变量都能通过统计的方法求得。

等等，为什么这个成立呢？学过概率论的同学可能有感觉了，这个等式成立的条件需要特征之间相互独立吧！对的！这也就是为什么朴素贝叶斯分类有朴素一词的来源，朴素贝叶斯算法是假设各个特征之间相互独立，那么这个等式就成立了！

但是为什么需要假设特征之间相互独立呢？

根据上面俩个原因，朴素贝叶斯法对条件概率分布做了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯也由此得名！这一假设使得朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。

朴素贝叶斯优点 ：

朴素贝叶斯缺点 ：

理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。

朴素贝叶斯模型(Naive Bayesian Model)的 朴素(Naive)的含义是"很简单很天真" 地假设样本特征彼此独立. 这个假设现实中基本上不存在, 但特征相关性很小的实际情况还是很多的, 所以这个模型仍然能够工作得很好。

新闻分类 GitHub： 点击进入

【 机器学习通俗易懂系列文章 】

从贝叶斯方法谈到贝叶斯网络

贝叶斯定理（转载）

贝叶斯定理太有用了，不管是在投资领域，还是机器学习，或是日常生活中高手几乎都在用到它。

生命科学家用贝叶斯定理研究基因是如何被控制的；教育学家突然意识到，学生的学习过程其实就是贝叶斯法则的运用；基金经理用贝叶斯法则找到投资策 略；Google用贝叶斯定理改进搜索功能，帮助用户过滤垃圾邮件；无人驾驶汽车接收车顶传感器收集到的路况和交通数据，运用贝叶斯定理更新从地图上获得 的信息；人工智能、机器翻译中大量用到贝叶斯定理。

我将从以下4个角度来科普贝叶斯定理及其背后的思维：

1.贝叶斯定理有什么用？

2.什么是贝叶斯定理？

3.贝叶斯定理的应用案例

4.生活中的贝叶斯思维

1.贝叶斯定理有什么用？

英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。而这篇论文是在他死后才由他的一位朋友发表出来的。

（ps：贝叶斯定理其实就是下面图片中的概率公式，这里先不讲这个公式，而是重点关注它的使用价值，因为只有理解了它的使用意义，你才会更有兴趣去学习它。）

在这篇论文中，他为了解决一个“逆概率”问题，而提出了贝叶斯定理。

在贝叶斯写这篇文章之前，人们已经能够计算“正向概率”，比如杜蕾斯举办了一个抽奖，抽奖桶里有10个球，其中2个白球，8个黑球，抽到白球就算你中奖。你伸手进去随便摸出1颗球，摸出中奖球的概率是多大。

根据频率概率的计算公式，你可以轻松的知道中奖的概率是2/10

如果还不懂怎么算出来的，可以看我之前写的科普概率的回答： 猴子：如何理解条件概率？

而贝叶斯在他的文章中是为了解决一个“逆概率”的问题。比如上面的例子我们并不知道抽奖桶里有什么，而是摸出一个球，通过观察这个球的颜色，来预测这个桶里里白色球和黑色球的比例。

这个预测其实就可以用贝叶斯定理来做。贝叶斯当时的论文只是对“逆概率”这个问题的一个直接的求解尝试，这哥们当时并不清楚这里面这里面包含着的深刻思想。

然而后来，贝叶斯定理席卷了概率论，并将应用延伸到各个问题领域。可以说，所有需要作出概率预测的地方都可以见到贝叶斯定理的影子，特别地，贝叶斯是机器学习的核心方法之一。

为什么贝叶斯定理在现实生活中这么有用呢？

这是因为现实生活中的问题，大部分都是像上面的“逆概率”问题。生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。

比如天气预报说，明天降雨的概率是30%，这是什么意思呢？

我们无法像计算频率概率那样，重复地把明天过上100次，然后计算出大约有30次会下雨。

而是只能利用有限的信息（过去天气的测量数据），用贝叶斯定理来预测出明天下雨的概率是多少。

同样的，在现实世界中，我们每个人都需要预测。想要深入分析未来、思考是否买股票、政策给自己带来哪些机遇、提出新产品构想，或者只是计划一周的饭菜。

贝叶斯定理就是为了解决这些问题而诞生的，它可以根据过去的数据来预测出概率。

贝叶斯定理的思考方式为我们提供了明显有效的方法来帮助我们提供能力，以便更好地预测未来的商业、金融、以及日常生活。

总结下第1部分：贝叶斯定理有什么用？

在有限的信息下，能够帮助我们预测出概率。

所有需要作出概率预测的地方都可以见到贝叶斯定理的影子，特别地，贝叶斯是机器学习的核心方法之一。例如垃圾邮件过滤，中文分词，艾滋病检查，肝癌检查等。

2.什么是贝叶斯定理？

贝叶斯定理长这样：

到这来，你可能会说：猴子，说人话，我一看到公式就头大啊。

其实，我和你一样，不喜欢公式。我们还是从一个例子开始聊起。

我的朋友小鹿说，他的女神每次看到他的时候都冲他笑，他想知道女神是不是喜欢他呢？

谁让我学过统计概率知识呢，下面我们一起用贝叶斯帮小鹿预测下女神喜欢他的概率有多大，这样小鹿就可以根据概率的大小来决定是否要表白女神。

首先，我分析了给定的已知信息和未知信息：

1）要求解的问题：女神喜欢你，记为A事件

2）已知条件：女神经常冲你笑，记为B事件

所以说，P(A|B)是女神经常冲你笑这个事件(B)发生后，女神喜欢你（A）的概率。

从公式来看，我们需要知道这么3个事情：

1）先验概率

我 们把P(A)称为'先验概率'（Prior probability），即在不知道B事件的前提下，我们对A事件概率的一个主观判断。这个例子里就是在不知道女神经常对你笑的前提下，来主观判断出女 神喜欢一个人的概率，这里我们假设是50%，也就是不能喜欢你，可能不喜欢还你的概率都是一半。

2）可能性函数

P(B|A)/P(B)称为'可能性函数'（Likelyhood），这是一个调整因子，即新信息B带来的调整，作用是使得先验概率更接近真实概率。

可 能性函数你可以理解为新信息过来后，对先验概率的一个调整。比如我们刚开始看到“人工智能”这个信息，你有自己的理解（先验概率/主观判断），但是当你学 习了一些数据分析，或者看了些这方面的书后（新的信息），然后你根据掌握的最新信息优化了自己之前的理解（可能性函数/调整因子），最后重新理解了“人工 智能”这个信息（后验概率）

如果'可能性函数'P(B|A)/P(B)>1，意味着'先验概率'被增强，事件A的发生的可能性变大；

如果'可能性函数'=1，意味着B事件无助于判断事件A的可能性；

如果"可能性函数"<1，意味着"先验概率"被削弱，事件A的可能性变小

还是刚才的例子，根据女神经常冲你笑这个新的信息，我调查走访了女神的闺蜜，最后发现女神平日比较高冷，很少对人笑。所以我估计出'可能性函数'P(B|A)/P(B)=1.5（具体如何估计，省去1万字，后面会有更详细科学的例子）

3）后验概率

P(A|B)称为'后验概率'（Posterior probability），即在B事件发生之后，我们对A事件概率的重新评估。这个例子里就是在女神冲你笑后，对女神喜欢你的概率重新预测。

带入贝叶斯公式计算出P(A|B)=P(A)* P(B|A)/P(B)=50% *1.5=75%

因此，女神经常冲你笑，喜欢上你的概率是75%。这说明，女神经常冲你笑这个新信息的推断能力很强，将50%的'先验概率'一下子提高到了75%的'后验概率'。

在得到预测概率后，小鹿自信满满的发了下面的表白微博：无图

稍后，果然收到了女神的回复。预测成功。无图

现在我们再看一遍贝叶斯公式，你现在就能明白这个公式背后的最关键思想了：

我们先根据以往的经验预估一个'先验概率'P(A)，然后加入新的信息（实验结果B），这样有了新的信息后，我们对事件A的预测就更加准确。

因此，贝叶斯定理可以理解成下面的式子：

后验概率（新信息出现后的A概率）　＝　先验概率（A概率） x 可能性函数（新信息带来的调整）

贝叶斯的底层思想就是：

如果我能掌握一个事情的全部信息，我当然能计算出一个客观概率（古典概率）。

可是生活中绝大多数决策面临的信息都是不全的，我们手中只有有限的信息。既然无法得到全面的信息，我们就在信息有限的情况下，尽可能做出一个好的预测。也就是，在主观判断的基础上，你可以先估计一个值（先验概率），然后根据观察的新信息不断修正(可能性函数)。

如果用图形表示就是这样的：

其实阿尔法狗也是这么战胜人类的，简单来说，阿尔法狗会在下每一步棋的时候，都可以计算自己赢棋的最大概率，就是说在每走一步之后，他都可以完全客观冷静的更新自己的信念值，完全不受其他环境影响。

3.贝叶斯定理的应用案例

前面我们介绍了贝叶斯定理公式，及其背后的思想。现在我们来举个应用案例，你会更加熟悉这个牛瓣的工具。

为了后面的案例计算，我们需要先补充下面这个知识。

1.全概率公式

这个公式的作用是计算贝叶斯定理中的P(B)。

假定样本空间S，由两个事件A与A'组成的和。例如下图中，红色部分是事件A，绿色部分是事件A'，它们共同构成了样本空间S。

这时候来了个事件B，如下图：

全概率公式：

它的含义是，如果A和A'构成一个问题的全部（全部的样本空间），那么事件B的概率，就等于A和A'的概率分别乘以B对这两个事件的条件概率之和。

看到这么复杂的公式，记不住没关系，因为我也记不住，下面用的时候翻到这里来看下就可以了。

案例1：贝叶斯定理在做判断上的应用

有两个一模一样的碗，1号碗里有30个巧克力和10个水果糖，2号碗里有20个巧克力和20个水果糖。

然后把碗盖住。随机选择一个碗，从里面摸出一个巧克力。

问题：这颗巧克力来自1号碗的概率是多少？

好了，下面我就用套路来解决这个问题，到最后我会给出这个套路。

第1步，分解问题

1）要求解的问题：取出的巧克力，来自1号碗的概率是多少？

来自1号碗记为事件A1，来自2号碗记为事件A2

取出的是巧克力，记为事件B，

那么要求的问题就是P(A1|B)，即取出的是巧克力，来自1号碗的概率

2）已知信息：

1号碗里有30个巧克力和10个水果糖

2号碗里有20个巧克力和20个水果糖

取出的是巧克力

第2步，应用贝叶斯定理

1）求先验概率

由于两个碗是一样的，所以在得到新信息（取出是巧克力之前），这两个碗被选中的概率相同，因此P(A1)=P(A2)=0.5,(其中A1表示来自1号碗，A2表示来自2号碗)

这个概率就是'先验概率'，即没有做实验之前，来自一号碗、二号碗的概率都是0.5。

2）求可能性函数

P(B|A1)/P(B)

其中，P(B|A1)表示从一号碗中(A1)取出巧克力(B)的概率。

因为1号碗里有30个水果糖和10个巧克力，所以P(B|A1)=30/(30+10)=75%

现在只有求出P(B)就可以得到答案。根据全概率公式，可以求得P(B)如下图：

图中P(B|A1)是1号碗中巧克力的概率，我们根据前面的已知条件，很容易求出。

同样的，P(B|A2)是2号碗中巧克力的概率，也很容易求出（图中已给出）。

而P(A1)=P(A2)=0.5

将这些数值带入公式中就是小学生也可以算出来的事情了。最后P(B)=62.5%

所以，可能性函数P(A1|B)/P(B)=75%/62.5%=1.2

可能性函数>1.表示新信息B对事情A1的可能性增强了。

3）带入贝叶斯公式求后验概率

将上述计算结果，带入贝叶斯定理，即可算出P(A1|B)=60%

这个例子中我们需要关注的是约束条件：抓出的是巧克力。如果没有这个约束条件在，来自一号碗这件事的概率就是50%了，因为巧克力的分布不均把概率从50%提升到60%。

现在，我总结下刚才的贝叶斯定理应用的套路，你就更清楚了，会发现像小学生做应用题一样简单：

第1步. 分解问题

简单来说就像做应用题的感觉，先列出解决这个问题所需要的一些条件，然后记清楚哪些是已知的，哪些是未知的。

1）要求解的问题是什么？

识别出哪个是贝叶斯中的事件A（一般是想要知道的问题），哪个是事件B（一般是新的信息，或者实验结果）

2）已知条件是什么？

第2步.应用贝叶斯定理

第3步，求贝叶斯公式中的2个指标

1）求先验概率

2）求可能性函数

3）带入贝叶斯公式求后验概率

贝叶斯公式的应用

贝叶斯公式直接的应用就是学习，啥意思，就是根据经验对新发生的事物进行判断。
抽象地说就是这样。
应用的原因就是为了预测未来，规避风险。
就和你知道很多鸟都是黑色的，但是其中乌鸦是黑色的可能性最大，于是当你再看到一只黑色的鸟的时候，你就会想着这只鸟是不是乌鸦。
包括你学习贝叶斯也是这样的，别人都说贝叶斯很厉害[先验]，然后你找了很多案例，最后想看看贝叶斯成功的概率是多少[后验]，其本质就是这个

Latent Dirichlet Allocation（隐狄利克雷分配模型）——论文翻译与分析

我们描述潜在的狄利克雷分配（LDA），它是一种用于离散数据集合（如文本语料库）的生成概率模型。 LDA是一个三层次的贝叶斯模型，其中一个集合中的每个项目都被建模为一组潜在的话题（主体）类型的有限混合。反过来，每个主题都被建模为一组潜在主题概率的无限混合。 在文本建模的背景下，主题概率提供了文档的明确表示。我们提出了基于变分方法和经验贝叶斯参数估计的EM算法的高效近似推理技术。 我们会报告LDA在文档建模，文本分类和协作过滤上的实验结果，并与一元混合模型（ unigrams model）和概率LSI模型相比较。

在本文中，我们考虑建模文本语料库和其他离散数据集合的问题。我们的目标是找到对一个集合的成员的简短描述，它不仅可以高效处理大型集合，同时保留对分类，异常检测，摘要（概括）以及相似性和相关性判断等基本任务有用的必要统计关系。

信息检索（IR）领域的研究人员已经在这个问题上取得了重大进展（Baeza-Yates和Ribeiro-Neto，1999）。IR研究人员为文本语料库提出的基本方法 （一种在现代互联网搜索引擎中成功部署的方法）将语料库中的每个文档变为实数表示的向量，每个实数都表示（词汇的）计数比率。流行的tf-idf方案（Salton和McGill，1983），对于文集中的每个文档选择了“词”或“术语”作为基本单位，并且计数由每个词的出现次数。在适当的归一化之后，将该术语频率计数与逆向文档频率计数进行比较，该逆向文档频率计数度量整个语料库中的词的出现次数（通常以对数刻度，并且再次适当标准化）。 最终结果是文档术语矩阵X，其列包含文档集中每个文档的tf-idf值。 因此，tf-idf方案将任意长度的文档缩减为固定长度的数字列表。

尽管tf-idf规约具有一些吸引人的特征 - 特别是（在对集合中的文档进行区分的）单词集合的基本识别中，但是在（对文档的）描述长度上，该方法并没有减少多少，并且揭示出很少的文档内或文档间的统计结构。为了解决这些缺点，IR研究人员提出了其他几种降维技术，其中最著名的是潜在语义索引（LSI）（Deerwester等，1990）。LSI使用X矩阵的奇异值分解来标识tf-idf特征空间中的线性子空间，该子空间捕获集合中的大部分变异数（variance）。这种方法可以在大型集合中实现显着压缩。此外，Deerwester等人 认为LSI的衍生特征（即原始tf-idf特征的线性组合），可以捕捉基本语言学概念的某些方面，比如同义词和多义词等。

为了证实关于LSI的主张，并研究其相对的优缺点，开发文本语料库的生成概率模型和研究LSI从数据中恢复生成模型方面的能力是有用的（Papadimitriou et al。，1998）。然而，目前尚不清楚，考虑文本的生成模型的时候，为什么应该采用LSI方法 - （其实）可以尝试更直接地进行，（比如）使用最大似然法或贝叶斯方法将模型与数据相匹配（即得到数据的模型）。

Hofmann（1999）在这方面迈出了重要的一步，他将LSI的概率LSI（pLSI）模型（也称为特征模型aspect model）作为LSI的替代品。我们在第4.3节中详细描述的pLSI方法将文档中的每个单词作为混合模型中的样本进行建模，其中混合组件是多项随机变量，可以将其视为“主题topics”的表示。因此，每个单词都是从单个主题生成的，而文档中的不同单词可以从不同的主题生成。每个文档都被表示为这些混合组件的混合比例列表，从而将其简化为一组固定主题的概率分布。 这种分布是与文档相关的“简化描述”。

虽然霍夫曼的工作是向文本概率建模迈出的有用的一步，但它并不完整，因为它没有提供文档层面的概率模型。在pLSI中，每个文档都被表示为一个数字列表（数字的值是主题的混合比例），并且这些数字没有生成概率模型。这导致了几个问题：（1）模型中参数的数量与语料库的大小成线性增长，这导致过度拟合的严重问题;（2）不清楚如何将概率分配给训练集之外的文档。

要了解如何超越pLSI，让我们考虑包括LSI和pLSI在内的一类降维方法的基本概率假设。所有这些方法都基于“词袋”的假设 - 文档中的单词顺序可以忽略不计。此外，尽管不经常正式说明，但这些方法也假定文档是可相互交换的; 文集中文档的具体排序也可以忽略不计。

受益于Finetti（1990），一个经典表示理论认为：任何可交换随机变量的集合都具有混合分布（通常是无限混合）的表示。因此，如果我们想考虑文件和单词的可交换表示，我们需要考虑能捕获单词和文档的可交换性的混合模型。这一思路促使我们在当前论文中提出潜在狄利克雷分配（LDA）模型。

需要强调的是，可交换性的假设并不等同于随机变量独立同分布的假设。相反，可交换性本质上可以被解释为“条件独立且分布相同”，其中的条件是与概率分布的潜在隐参数有关的。在一定条件下，随机变量的联合分布是简单的，但如果围绕隐参数考虑，联合分布可能相当复杂。因此，虽然可交换性的假设是文本建模领域的一个主要的简化假设，并且其主要理由是它是一种会导致计算效率较高的方法，但可交换性假设对简单频率的计数或线性操作并不是一个必要的条件。在当前的论文中，我们的目标是，通过认真考虑de Finetti定理，可以通过混合分布获取重要的文档内统计结构。

同样值得注意的是，可交换性的基本概念有大量的总结概括，包括各种形式的部分可交换性，并且上面提到的表示法也可用于部分可交换的情况（Diaconis，1988）。因此，虽然我们在当前论文中讨论的工作集中在简单的“词袋”模型上（这表现为单个单词（unigrams）的混合分布），但我们的方法也适用于涉及较大结构混合的更丰富的模型，如n-grams或段落。

本文的结构如下： 在第2节中，我们介绍基本的表示法和术语。 LDA模型在第3节中介绍，并与第4节中的相关潜变量模型进行比较。我们在第5节讨论LDA的推理和参数估计。第6节提供了LDA拟合数据的一个说明性例子。文本建模，文本分类和协作过滤的实验结果在第7节中给出。最后，第8节给出我们的结论。

我们在整篇论文中使用 文本集合 的说法，指的是诸如“单词”，“文档”和“语料库”等实体。这很有用，因为它有助于指导靠直觉来感知的知识的处理（intuition），特别是当我们引入旨在捕捉抽象概念（如主题）的潜在变量时（潜在变量和隐变量说的是一回事）。然而，需要指出的是，LDA模型不一定与文本相关，并且可应用于涉及数据集合的其他问题，包括来自诸如协同过滤，基于内容的图像检索和生物信息学等领域的数据。 事实上，在7.3节中，我们将呈现在协同过滤领域的实验结果。

在形式上，我们定义下列术语： • 单词是离散数据的基本单位，假设有一个V个词组成的词汇表（词典），索引通过{1......V}表示，里面每一项代表一个单词。我们使用单位向量表示单词，它里面一项等于1其他项等于零。我们使用上标来表示第几个成分，因此第v个词在V维向量w中表示为：w v = 1 and w u = 0 for u ≠ v • 文档中的词来自一个包含N个词的词典，一个文档可以表示成N个词组成的序列，可以表示为 w = (w 1 ,w 2 ......w N )，下标表示第几个词。（注意，每个词用一个V维的向量表示，每篇文档有最多有N个不同的词，不要搞混了） • 一个语料库是含有M个文档的集合，用 D = ( w 1 , w 2 ...... w M )----注意有加粗

我们希望找到一个语料库的概率模型，它不仅为语料库成员分配高概率，而且为其他“类似”文档分配高概率。（意思就是说，语料库中某一文档的某个topic概率比较高，那么测试相似文档。也能得到相同的概率分布）

隐在狄利克雷分配（LDA）是语料库的生成概率模型。 其基本思想是文档被表示为潜在主题的随机混合，每个主题都是有不同的文字（词）分布特征的。

LDA为语料库 D 中的每个文档 w 假定以下生成过程：

在这个基本模型中做了几个简化的假设，其中一些我们在后面的章节中会删除。首先，Dirichlet分布的维度k（以及主题变量z的维度）被假定为已知并且是固定的。其次，单词概率通过k×V矩阵 β 进行参数化，其中 β ij = p（w j = 1 | z i = 1）（猜测：它表示在某个主题中索引为i的词出现的条件下，文档中第j个词出现的概率），现在我们将其视为待估计的固定量。最后，泊松假设对随后的任何事情都不是关键的，并且可以根据需要使用更真实的文档长度分布。此外，请注意，N与所有其他数据生成变量（θ和z）无关。 因此它是一个辅助变量，我们通常会忽略它在随后发展中的随机性。

一个k维Dirichlet随机变量θ可以从(k − 1)-simplex（单形或单纯形）中取值，并且在这个单纯形中有以下概率密度：

α 参数是一个k维向量，并且 α 的每一项都满足α i > 0，另外Γ(x)是 伽马函数 。狄利克雷分布在单形（属于指数族）上是一种实用的分布，具有有限维数的充分统计量，并且与多项分布共轭。

在第5节中，这些属性将有助于开发LDA的推理和参数估计算法。

给定参数α和β，主题混合分布θ、主题 z 和文档 w 的联合分布为：

上式表示给定参数α和β的条件下，文档的概率分布。

最后，利用单个文档边际概率的乘积，得到一个语料库的概率分布：

区分LDA和简单的Dirichlet多项式聚类模型很重要。 经典的聚类模型会涉及到一个两层模型：其中，一个Dirichlet为一个语料库抽样一次，一个多项式聚类变量为语料库中的每个文档选择一次，并且以聚类变量为条件，为文档选择一组词语 。与许多聚类模型一样，这种模型将文档限制为与单个主题相关联。另一方面，LDA涉及三个层次，特别是主题节点在文档中被重复采样。在这种模式下，文档可以与多个主题相关联。

图1所示类似结构通常在贝叶斯统计建模中研究，它们被称为分层模型（Gelman等，1995），或者更准确地说，是条件独立的分层模型（Kass和Steffey，1989）。这种模型通常也被称为参数经验贝叶斯模型（parametric empirical Bayes models），这个术语不仅指特定的模型结构，而且还指用于估计模型参数的方法（Morris，1983）。事实上，正如我们在第5节中讨论的那样，我们采用经验贝叶斯方法来估计一个LDA简单实现中的参数（比如，α和β等），但我们也考虑了更充分的贝叶斯方法。

如果联合分布对于置换是不变的，那么一个有限的随机变量集{z 1 ......z N }被认为是可交换的。 如果π（此π非彼π）表示某种整数从1到N的置换规则，则：

p(z 1 ......z N ) = p(z π(1) ......z π(N) )

如果每个有限的子序列是可交换的，则无限序列的随机变量是无限可交换的。

De Finetti的表示定理指出，随机变量的无限可交换序列的联合分布就好像从一些分布中抽取的一个随机参数，以该参数为条件，所讨论的随机变量是独立同分布的。

在LDA中，我们假设单词是由主题（通过固定的条件分布）生成的，而且这些主题在文档中是无限可交换的。根据菲内蒂定理，一组词汇和话题的概率必须具有以下这种形式：

θ是关于主题的多项式的随机参数。通过边缘化主题变量并赋予θ狄利克雷分布，在公式（3）中，我们获得了文档的LDA分布。

图1所示的LDA模型比传统分层贝叶斯文献中经常研究的两层模型要复杂得多。然而，通过边缘化隐藏的主题变量z，我们可以将LDA理解为两层模型。

特别是，让我们来构造单词分布p(w|θ,β)：

请注意，这是一个随机量，因为它取决于θ。

我们现在为文档 w 定义下面的生成过程：（对每篇文档）

该过程将文档的边际分布定义为连续混合分布：（注意下式表示的是语料库，而非一篇文档 的分布）

图2说明了LDA的这种解释。 它描绘了LDA模型的一个特定实例引发的p(w| θ,β)的分布。请注意，在（V-1） - simplex中的这种分布仅通过k + kV个参数实现，但展现出非常有趣的多模式结构。

在本节中，我们将LDA与文本的简单潜（隐）变量模型（一元模型，一元模型的混合模型和pLSI模型）进行比较。 此外，我们提出了这些模型的统一几何解释，突出了它们的主要区别和相似之处。

在一元模型下，每个文档的单词都是独立的按照某个多项分布而绘制的，生成文档的概率为：

如果我们用一个离散的随机主题变量z（图3b）来扩充一元模型，我们就可以得到一个混合一元模型（Nigam et al.，2000）。在这个混合模型下，首先选择一个主题z，然后从条件多项式p（w | z）独立的生成N个单词，从而生成每个文档（该文档中的所有词都来自一个主题）。一篇文档的概率分布：

在每个文档仅显示一个主题的假设背景下，当从语料库做概率估计时，可以将词语分布视为主题的表示。正如第7节的实证结果所示，这种假设通常限制性太强，以至于无法有效地建模量大的文献。

相反，LDA模型允许文档在不同程度上展示多个主题。这是以（增加）一个额外参数为代价实现的：在混合一元模型中有与p(z)相关的参数有k-1个，而在LDA中与p（θ | α）有关的参数有k个。

概率潜在语义索引（pLSI）是另一个广泛使用的文档模型（Hofmann，1999）。 如图3c所示，给定了未知的主题z，pLSI模型假设文档标签d和单词w n 是条件独立的：

使用pLSI的另一个困难（也是来自于通过训练文档进行索引的分布的使用）是必须估计的参数数量与训练文档的数量呈线性增长。k-主题pLSI模型的参数是在k个未知主题上，V和M混合大小的k个多项式分布。这给出了kV + kM个参数，因此在M中线性增长。参数的线性增长表明该模型容易出现过度拟合，并且根据经验确定，过拟合确实是一个严重的问题（参见第7.1节）。在实践中，使用回火试探来平滑模型的参数以获得可接受的预测性能。 然而，已经表明，即使在使用回火时也可能发生过度拟合（Popescul et al.，2001）。

LDA通过将主题混合权重视为一个k个参数的隐藏的随机变量，而不是大量与训练集明确关联的单个参数，来克服这两个问题。如第3节所述，LDA是一个良好定义的生成模型，可轻松推广到新文档。此外，k-topic LDA模型中的k + kV个参数不会随着训练语料库的大小而增长。我们将在7.1节看到，LDA不会遇到与pLSI相同的过度拟合问题。

说明LDA和其他潜在主题模型之间差异的一种好方法是考虑潜在空间的几何形状，并了解每个模型下文档在该几何体中的表示方式。

上述所有四种模型（unigram, mixture of unigrams, pLSI, and LDA）都是在单词分布空间中进行操作的。每个这样的分布可以被看作是（V-1） - simplex上的一个点，我们称之为词单纯形（the word simplex）。

一元模型在词单纯形上找到一个单一的点，并假定文集中的所有单词来自相应的分布。潜变量模型考虑词单纯形上的k个点，并根据这些点构成子单形体，我们称之为主题单纯形。请注意，主题单纯形上的任何一点也是单词单纯形上的一个点。不同的潜在变量模型以不同的方式使用主题单纯形来生成文档。

• 混合一元模型假设，对于每个文档，词单纯形中的k个点（即，主题单纯形的那些角中的一个）中的一个一旦随机选择后，文档的所有单词都从对应于那一点的分布中获取。

• pLSI模型假定训练文档的每个单词来自随机选择的主题。这些主题本身来自于文档在主题上的特征分布，也就是主题单纯形上的一个角点。每个文件有一个这样的分布，训练文档集因此定义了关于主题单纯形的经验分布。

• LDA假定观察到的（训练集）和未看到的（验证集）文档中的每个词都是由随机选择的主题生成的，该主题是从具有一个随机选择参数的分布中抽取的。 从主题单纯形的平滑分布中，每个文档对此参数进行一次采样。

这些差异在图4中突出显示。

我们描述了使用LDA背后的动机，并说明了其与其他潜在主题模型相比的概念优势。在本节中，我们将注意力转向LDA下的推理和参数估计。

为了使用LDA我们需要解决的关键推理问题是计算给定文档的隐藏变量的后验分布：

不幸的是，这种分布通常难以计算。 实际上，为了规范化分布，我们将忽视隐藏变量并根据模型参数重写方程（3）：

这是一个由于在潜在主题的总和中θ和β之间的耦合，而难以处理的函数（Dickey，1983）。Dickey表示这个函数是在Dirichlet分布的特定扩展下的期望，可以用特殊的超几何函数表示。它在贝叶斯环境中可用于删除（或审查，censored 暂时不明白怎么翻译）离散数据，以表示θ的后验（在该设置中，θ是随机参数）（Dickey等，1987）。

尽管后验分布对于精确推断是难以处理的，但是对于LDA可以考虑各种各样的近似推理算法，包括拉普拉斯近似，变分近似和马尔可夫链蒙特卡罗（Jordan，1999）。在本节中，我们描述了一个简单的基于凸性的变分算法，用于推断LDA，并讨论了第8节中的一些替代方案。

基于凸性的变分推理的基本思想是利用Jensen不等式来获得对数似然的可调下界（Jordan et al。，1999）。本质上，人们考虑一系列下界，它们由一组变分参数索引。变分参数由优化程序选择，该程序试图找到最可能的下限。

获得易处理的下界族的简单方法是考虑原始图形模型的简单修改，原始图形模型中一些边和节点已被移除。特别考虑图5（左）中所示的LDA模型。 θ和β之间的有问题的耦合是由于θ，z和w之间的边界而产生的。 通过丢弃这些边和w节点，并赋予所得到的简化图形模型以及自由变分参数，我们获得了潜在变量的一个分布族。这个分布族以下面这个变分分布为特征：

已经指定了简化的概率分布族，下一步是建立一个确定变分参数γ和Φ的值的优化问题。 正如我们在附录A中所示，找到对数似然的紧密下界的期望直接转化为以下优化问题：

因此，通过最小化变分分布和真实后验p（θ, z | w,α,β）之间的KullbackLeibler（KL）发散来找到变分参数的优化值。这种最小化可以通过迭代定点方法实现。 特别是，我们在附录A.3中表明，通过计算KL散度的导数并将它们设置为零，我们得到以下一对更新方程：

最近有新的项目做，没时间翻译啦，以后有时间再填坑，此处省略3000字......

变分贝叶斯初探

原题：A Beginner's Guide to Variational Methods: Mean-Field Approximation 给初学者的变分法指导：平均场近似

这种 推断-优化 的二元性，赋予我们强大的能力。我们既可以使用最新、最好的优化算法来解决统计机器学习问题，也可以反过来，使用统计技术来最小化函数。

这篇文章是关于变分方法的入门教程。 我将推导出最简单的VB方法的优化目标，称为 平均场近似 。 这个目标，也称为 变分下界 ，与变分自动编码器（ VAE ）中使用的技术完全相同（我将在后续文章中相信介绍它，堪称入木三分）。

1.问题的前提和符号约定 2.问题的表述 3.平均场近似的变分下界 4.前传KL与反传KL 5.与深度学习的联系

本文假设读者熟悉随机变量、概率分布和数学期望等概念。如果你忘了这些概念，可以在 这里 进行复习。机器学习和统计领域的符号约定没有被严格地标准化，因此在这篇文章中，我们约定如下符号，确定的符号将对理解文意很有帮助：

许多学术论文将术语“变量”、“分布”、“密度”，甚至“模型”互换使用。这种做法本身不一定导致错误，因为 、 和 都可以通过一对一的对应关系相互指代。但是，将这些术语混合在一起，容易让人感到困惑。因为它们的指代范畴各不相同（比如对函数进行 抽样 没有意义，对分布 积分 同样没有意义）。

我们将系统建模为随机变量的集合，其中一些变量（ ）是“可观察的”，而其他变量（ ）是“隐藏的”。 【译者按：后文称二者为“观察变量”和“隐变量”】我们可以通过下图绘制这种关系：

从 到 ，通过条件分布 这条边，将两个变量联系在一起。

说一个更形象的例子： 可能代表“图像的原始像素值”，而 是二值变量。如果 是猫的图像， 。

贝叶斯定理 给出了任意一对随机变量之间的一般关系： 其中的各项与如下常见名称相关联：

是后验概率：“给定图像，这是猫的概率是多少？” 如果我们可以从 进行采样，我们可以用它作一个猫分类器，告诉我们给定的图像是否是猫。

是似然概率：“给定 的值，计算出该图像 在该类别下的‘可能’程度（{是猫/不是猫})” 如果我们可以从 进行采样，那么我们就可以生成猫的图像和非猫的图像，就像生成随机数一样容易。如果你想了解更多相关信息，请参阅我的关于生成模型的其他文章： [1] , [2] 。

是先验概率。它指代我们所知道的关于 的任何先前信息——例如，如果我们认为所有图像中，有1/3是猫，那么 并且 。

这部分是为了感兴趣的读者准备的。请直接跳到下一部分，继续学习本教程。

前面猫的示例提供了观察变量、隐变量和先验的理解角度，是传统的一个示例。 但是请注意，我们定义隐变量/观察变量之间的区别有些随意，你可以自由地将图形模型按需求进行分解。

我们可以通过交换等式的项来重写贝叶斯定理： 现在的“后验概率”是 。

从贝叶斯统计框架，隐变量可以解释为附加到观察变量的 先验信念 。 例如，如果我们认为 是多元高斯，则隐变量 可以表示高斯分布的均值和方差。 另外，参数 上的分布是 的先验分布。

你也可以自由选择 和 代表的值。 例如， 可以代之以“均值、方差的立方根、以及 ，其中 ”。 虽然有点突兀、奇怪，但只要相应地修改 ，结构仍然有效。

你甚至可以往系统中“添加”变量。先验本身可能通过 依赖于其他随机变量， 具有它们自己的 的先验分布，并且那些先验仍然是有先验的，依此类推。任何超参数都可以被认为是先验的。 在贝叶斯统计中， 先验是无穷递归的 。【译者按：1.英文中俗语“turtles all the way down”表示问题无限循环、递归，作者用了"priors all the way down"来诙谐地表达先验系统的递归性。2.先验的层次越深，对结果的影响越 小 】

我们感兴趣的关键问题是隐变量 的后验推断或密度函数。后验推断的一些典型例子：

我们通常假设，我们已知如何计算似然分布 和先验分布 【译者按：原文为“function”函数，应为讹误，后文类似情况以符号为准】。

然而，对于像上面的复杂任务，我们常常不知道如何从 采样或计算 。或者，我们可能知道 的形式，但相应的计算十分复杂，以至于我们无法在合理的时间内对其评估【译者按：“评估”的意思是给定似然函数，求出该函数在某一点上的值】。 我们可以尝试使用像 MCMC 这样的基于采样的方法求解，但这类方法很难收敛。

变分推断背后的想法是这样的：对简单的参数分布 （就像高斯分布）进行推断。对这个函数，我们已经知道如何做后验推断，于是任务变成了调整参数 使得 尽可能接近 。【译者按：“推断”在这里指的是从观察变量 的概率分布导出隐变量 的概率分布】

这在视觉上如下图所示：蓝色曲线是真实的后验分布，绿色分布是通过优化得到的拟合蓝色密度的变分近似（高斯分布）。

两个分布“接近”意味着什么？ 平均场变分贝叶斯（最常见的类型）使用反向KL散度作为两个分布之间的距离度量。

反向KL散度测量出将 “扭曲（distort）”成 所需的信息量（以nat为单位或以2为底的对数bits为单位）。我们希望最小化这个量。【译者按：1.“扭曲”的意思是，把 和 贴合在一起，即通过某种映射引发函数图像的形变，使二者图像一致；2.许多研究产生式模型的论文会比较不同方法下的散度值。】

根据条件分布的定义， 。 让我们将这个表达式代入原来的KL表达式，然后使用分配律： 为了使 相对于变分参数 最小化，我们只需要最小化 ，因为 对于 来说是常数。 让我们重新写这个数量作为对分布 的期望。 最小化上面的式子等价于最大化负的式子： 在文献中， 被称为 变分下界 。如果我们能够估计 、 、 ，我们就可以计算它。我们可以继续调整式子里各项的顺序，使之更符合直觉： 如果说采样 是将观察变量 “编码”为隐变量 的过程，则采样 是从 重建观察变量 的“解码”过程。

由此得出 是预期的“解码”似然（即变分分布 能在多大程度上将样本 解码回样本 ），再减去变分近似的分布与先验 之间的KL散度【译者按：原文是“加上”，应该是减去】。如果我们假设 是条件高斯的，那么先验 通常被指定为平均值0、标准偏差1的对角高斯分布。

为什么 称为变分下界？ 将 代入 ，我们有： 的含义，用大白话说就是，真实分布下的数据点 的对数似然 ，等于 ，加上 用来捕获在该特定值 处 和 之间距离的差。

由于 ， 必大于（或等于） 。因此 是 的下界。 也被称为证据下界（ELBO），通过调整公式：

注意， 本身包含近似后验和先验之间的KL散度，因此 中总共有两个KL项。

KL散度函数不是对称距离函数，即 （当 时除外）第一个被称为“前向KL”，而后者是“反向KL””。 我们为什么要使用反向KL呢？因为推导的目标要求我们近似 ，所以【在 和 不能同时得到最优形式的情况下】我们要优先确保 的形式准确。

我很喜欢Kevin Murphy在 PML教科书 中的解释，我在这里尝试重新说明一下：

让我们首先考虑正向KL。正如上述推导，我们可以将KL写为，权重函数 加权下，“惩罚”函数 的期望。 只要 ，惩罚函数在任何地方都会给总KL带来损失。对于 ， 。 这意味着前向KL将在 未能“掩盖” 时，将会很大。

因此，当我们确保前向KL最小化时 时， 。 优化的变分分布 被称为“避免零（zero-avoiding）”（密度 为零时 避免为零）。

如果 ，我们必须确保分母 的地方，加权功能的 ，否则KL会爆炸。这被称为“必设零(zero-forcing)”：

在机器学习问题中，使用平均场近似时，留意反向KL的后果很重要。 如果我们将单峰分布拟合到多模态分布，我们最终会得到更多的假阴性的样例（也就是说， 实际上存在概率，但我们依据 认为没有可能性）。

变分法对于深度学习非常重要。 我将在后面再写文章详细说明。这是“太长不看版”：

结合深度学习和变分贝叶斯方法，我们可以对 极其 复杂的后验分布进行推断。 事实证明，像变分自动编码器这样的现代技术，可以优化得到上文中形式完全相同的平均场变分下界！

感谢阅读，敬请期待！

鉴于标题，我们值得给出“平均场近似”这个名字背后的一些动机。

从统计物理学的观点来看，“平均场”是指忽略二阶效应，将困难的优化问题放松到更简单的问题。例如，在图模型的情境中，我们可以把估计 马尔可夫随机场 的配分函数（partition function）问题，转为最大化吉布斯自由能（对数配分函数减去相对熵）的问题。这显著地简化了全概率测量空间的全局优化的形式（参见M. Mezard和A. Montanari，Sect 4.4.2）。

整体分解： 平均场近似的分解：

从算法的观点来看，“平均场”是指用于计算马尔可夫随机场边缘概率的朴素平均场算法（naive mean field algorithm）。回想一下，朴素平均场算法的固定点【即最终解】是吉布斯变分问题的平均场近似的最优点。这种方法是“均值”，因为它是吉布斯采样器的平均/期望/ LLN版本，因此忽略了二阶（随机）效应（参见，ight和M. Jordan，（2.14）和（2.15））。

【译者按： 1.上述说明主要针对配分函数而言的。 的隐空间为标准高斯分布，协方差矩阵为对角单位阵，而不考虑非对角元素的影响。这体现了“平均场”的思想。 的实验效果显示，产生图像较为模糊或“平均”，不够锐利，也许正是平均场近似的结果】