写作话题: 贝叶斯预测模型在矿物含量预测中的应用贝叶斯预测模型在气温变化预测中的应用贝叶斯学习原理及其在预测未来地震危险中的应用基于稀疏贝叶斯分类器的汽车车型识别信号估计中的贝叶斯方法及应用贝叶斯神经网络在生物序列分析中的应用基于贝叶斯网络的海上目标识别贝叶斯原理在发动机标定中的应用贝叶斯法在继电器可靠性评估中的应用相关书籍: Arnold Zellner 《Bayesian Econometrics: Past, Present and Future》Springer 《贝叶斯决策》黄晓榕 《经济信息价格评估以及贝叶斯方法的应用》张丽 , 闫善文 , 刘亚东 《全概率公式与贝叶斯公式的应用及推广》周丽琴 《贝叶斯均衡的应用》王辉 , 张剑飞 , 王双成 《基于预测能力的贝叶斯网络结构学习》张旭东 , 陈锋 , 高隽 , 方廷健 《稀疏贝叶斯及其在时间序列预测中的应用》邹林全 《贝叶斯方法在会计决策中的应用》周丽华 《市场预测中的贝叶斯公式应用》夏敏轶 , 张焱 《贝叶斯公式在风险决策中的应用》臧玉卫 , 王萍 , 吴育华 《贝叶斯网络在股指期货风险预警中的应用》党佳瑞 , 胡杉杉 , 蓝伯雄 《基于贝叶斯决策方法的证券历史数据有效性分析》肖玉山 , 王海东 《无偏预测理论在经验贝叶斯分析中的应用》严惠云 , 师义民 《Linex损失下股票投资的贝叶斯预测》卜祥志 , 王绍绵 , 陈文斌 , 余贻鑫 , 岳顺民 《贝叶斯拍卖定价方法在配电市场定价中的应用》刘嘉焜 , 范贻昌 , 刘波 《分整模型在商品价格预测中的应用》《Bayes方法在经营决策中的应用》《决策有用性的信息观》《统计预测和决策课件》《贝叶斯经济时间序列预测模型及其应用研究》《贝叶斯统计推断》《决策分析理论与实务》
原题：A Beginner's Guide to Variational Methods: Mean-Field Approximation 给初学者的变分法指导：平均场近似
这种 推断-优化 的二元性，赋予我们强大的能力。我们既可以使用最新、最好的优化算法来解决统计机器学习问题，也可以反过来，使用统计技术来最小化函数。
这篇文章是关于变分方法的入门教程。 我将推导出最简单的VB方法的优化目标，称为 平均场近似 。 这个目标，也称为 变分下界 ，与变分自动编码器（ VAE ）中使用的技术完全相同（我将在后续文章中相信介绍它，堪称入木三分）。
1.问题的前提和符号约定 2.问题的表述 3.平均场近似的变分下界 4.前传KL与反传KL 5.与深度学习的联系
本文假设读者熟悉随机变量、概率分布和数学期望等概念。如果你忘了这些概念，可以在 这里 进行复习。机器学习和统计领域的符号约定没有被严格地标准化，因此在这篇文章中，我们约定如下符号，确定的符号将对理解文意很有帮助：
许多学术论文将术语“变量”、“分布”、“密度”，甚至“模型”互换使用。这种做法本身不一定导致错误，因为 、 和 都可以通过一对一的对应关系相互指代。但是，将这些术语混合在一起，容易让人感到困惑。因为它们的指代范畴各不相同（比如对函数进行 抽样 没有意义，对分布 积分 同样没有意义）。
我们将系统建模为随机变量的集合，其中一些变量（ ）是“可观察的”，而其他变量（ ）是“隐藏的”。 【译者按：后文称二者为“观察变量”和“隐变量”】我们可以通过下图绘制这种关系：
从 到 ，通过条件分布 这条边，将两个变量联系在一起。
说一个更形象的例子： 可能代表“图像的原始像素值”，而 是二值变量。如果 是猫的图像， 。
贝叶斯定理 给出了任意一对随机变量之间的一般关系： 其中的各项与如下常见名称相关联：
是后验概率：“给定图像，这是猫的概率是多少？” 如果我们可以从 进行采样，我们可以用它作一个猫分类器，告诉我们给定的图像是否是猫。
是似然概率：“给定 的值，计算出该图像 在该类别下的‘可能’程度（{是猫/不是猫})” 如果我们可以从 进行采样，那么我们就可以生成猫的图像和非猫的图像，就像生成随机数一样容易。如果你想了解更多相关信息，请参阅我的关于生成模型的其他文章： [1] , [2] 。
是先验概率。它指代我们所知道的关于 的任何先前信息——例如，如果我们认为所有图像中，有1/3是猫，那么 并且 。
这部分是为了感兴趣的读者准备的。请直接跳到下一部分，继续学习本教程。
前面猫的示例提供了观察变量、隐变量和先验的理解角度，是传统的一个示例。 但是请注意，我们定义隐变量/观察变量之间的区别有些随意，你可以自由地将图形模型按需求进行分解。
我们可以通过交换等式的项来重写贝叶斯定理： 现在的“后验概率”是 。
从贝叶斯统计框架，隐变量可以解释为附加到观察变量的 先验信念 。 例如，如果我们认为 是多元高斯，则隐变量 可以表示高斯分布的均值和方差。 另外，参数 上的分布是 的先验分布。
你也可以自由选择 和 代表的值。 例如， 可以代之以“均值、方差的立方根、以及 ，其中 ”。 虽然有点突兀、奇怪，但只要相应地修改 ，结构仍然有效。
你甚至可以往系统中“添加”变量。先验本身可能通过 依赖于其他随机变量， 具有它们自己的 的先验分布，并且那些先验仍然是有先验的，依此类推。任何超参数都可以被认为是先验的。 在贝叶斯统计中， 先验是无穷递归的 。【译者按：1.英文中俗语“turtles all the way down”表示问题无限循环、递归，作者用了"priors all the way down"来诙谐地表达先验系统的递归性。2.先验的层次越深，对结果的影响越 小 】
我们感兴趣的关键问题是隐变量 的后验推断或密度函数。后验推断的一些典型例子：
我们通常假设，我们已知如何计算似然分布 和先验分布 【译者按：原文为“function”函数，应为讹误，后文类似情况以符号为准】。
然而，对于像上面的复杂任务，我们常常不知道如何从 采样或计算 。或者，我们可能知道 的形式，但相应的计算十分复杂，以至于我们无法在合理的时间内对其评估【译者按：“评估”的意思是给定似然函数，求出该函数在某一点上的值】。 我们可以尝试使用像 MCMC 这样的基于采样的方法求解，但这类方法很难收敛。
变分推断背后的想法是这样的：对简单的参数分布 （就像高斯分布）进行推断。对这个函数，我们已经知道如何做后验推断，于是任务变成了调整参数 使得 尽可能接近 。【译者按：“推断”在这里指的是从观察变量 的概率分布导出隐变量 的概率分布】
这在视觉上如下图所示：蓝色曲线是真实的后验分布，绿色分布是通过优化得到的拟合蓝色密度的变分近似（高斯分布）。
两个分布“接近”意味着什么？ 平均场变分贝叶斯（最常见的类型）使用反向KL散度作为两个分布之间的距离度量。
反向KL散度测量出将 “扭曲（distort）”成 所需的信息量（以nat为单位或以2为底的对数bits为单位）。我们希望最小化这个量。【译者按：1.“扭曲”的意思是，把 和 贴合在一起，即通过某种映射引发函数图像的形变，使二者图像一致；2.许多研究产生式模型的论文会比较不同方法下的散度值。】
根据条件分布的定义， 。 让我们将这个表达式代入原来的KL表达式，然后使用分配律： 为了使 相对于变分参数 最小化，我们只需要最小化 ，因为 对于 来说是常数。 让我们重新写这个数量作为对分布 的期望。 最小化上面的式子等价于最大化负的式子： 在文献中， 被称为 变分下界 。如果我们能够估计 、 、 ，我们就可以计算它。我们可以继续调整式子里各项的顺序，使之更符合直觉： 如果说采样 是将观察变量 “编码”为隐变量 的过程，则采样 是从 重建观察变量 的“解码”过程。
由此得出 是预期的“解码”似然（即变分分布 能在多大程度上将样本 解码回样本 ），再减去变分近似的分布与先验 之间的KL散度【译者按：原文是“加上”，应该是减去】。如果我们假设 是条件高斯的，那么先验 通常被指定为平均值0、标准偏差1的对角高斯分布。
为什么 称为变分下界？ 将 代入 ，我们有： 的含义，用大白话说就是，真实分布下的数据点 的对数似然 ，等于 ，加上 用来捕获在该特定值 处 和 之间距离的差。
由于 ， 必大于（或等于） 。因此 是 的下界。 也被称为证据下界（ELBO），通过调整公式：
注意， 本身包含近似后验和先验之间的KL散度，因此 中总共有两个KL项。
KL散度函数不是对称距离函数，即 （当 时除外）第一个被称为“前向KL”，而后者是“反向KL””。 我们为什么要使用反向KL呢？因为推导的目标要求我们近似 ，所以【在 和 不能同时得到最优形式的情况下】我们要优先确保 的形式准确。
我很喜欢Kevin Murphy在 PML教科书 中的解释，我在这里尝试重新说明一下：
让我们首先考虑正向KL。正如上述推导，我们可以将KL写为，权重函数 加权下，“惩罚”函数 的期望。 只要 ，惩罚函数在任何地方都会给总KL带来损失。对于 ， 。 这意味着前向KL将在 未能“掩盖” 时，将会很大。
因此，当我们确保前向KL最小化时 时， 。 优化的变分分布 被称为“避免零（zero-avoiding）”（密度 为零时 避免为零）。
如果 ，我们必须确保分母 的地方，加权功能的 ，否则KL会爆炸。这被称为“必设零(zero-forcing)”：
在机器学习问题中，使用平均场近似时，留意反向KL的后果很重要。 如果我们将单峰分布拟合到多模态分布，我们最终会得到更多的假阴性的样例（也就是说， 实际上存在概率，但我们依据 认为没有可能性）。
变分法对于深度学习非常重要。 我将在后面再写文章详细说明。这是“太长不看版”：
结合深度学习和变分贝叶斯方法，我们可以对 极其 复杂的后验分布进行推断。 事实证明，像变分自动编码器这样的现代技术，可以优化得到上文中形式完全相同的平均场变分下界！
感谢阅读，敬请期待！
鉴于标题，我们值得给出“平均场近似”这个名字背后的一些动机。
从统计物理学的观点来看，“平均场”是指忽略二阶效应，将困难的优化问题放松到更简单的问题。例如，在图模型的情境中，我们可以把估计 马尔可夫随机场 的配分函数（partition function）问题，转为最大化吉布斯自由能（对数配分函数减去相对熵）的问题。这显著地简化了全概率测量空间的全局优化的形式（参见M. Mezard和A. Montanari，Sect ）。
整体分解： 平均场近似的分解：
从算法的观点来看，“平均场”是指用于计算马尔可夫随机场边缘概率的朴素平均场算法（naive mean field algorithm）。回想一下，朴素平均场算法的固定点【即最终解】是吉布斯变分问题的平均场近似的最优点。这种方法是“均值”，因为它是吉布斯采样器的平均/期望/ LLN版本，因此忽略了二阶（随机）效应（参见，和M. Jordan，（）和（））。
【译者按： 1.上述说明主要针对配分函数而言的。 的隐空间为标准高斯分布，协方差矩阵为对角单位阵，而不考虑非对角元素的影响。这体现了“平均场”的思想。 的实验效果显示，产生图像较为模糊或“平均”，不够锐利，也许正是平均场近似的结果】
贝叶斯推理研究综述_思想政治教育
各位老师，上午好！我叫谢天香，是07计 2班的学生，我的论文题目是贝叶斯分类算法的设计与实现。论文是在导师的悉心指导下完成的，在这里我向我的导师表示深深的谢意，同时向各位老师参加我的论文答辩表示衷心的感谢。下面我将本论文设计的目的和主要内容向各位老师作一汇报，恳请各位老师批评指导。首先，我想谈谈这个毕业论文设计的目的及意义。……其次，我想谈谈这篇论文的结构和主要内容。本文分成4个部分.第1章，绪论。主要介绍了贝叶斯分类器研究的意义，国内外发展现状和本课题研究内容。第2章，贝叶斯分类算法概述。介绍了本系统采取的核心算法—贝叶斯算法的数学模型，贝叶斯分类器的工作原理与理论原型。第3章，贝叶斯分类算法的设计与实现。讨论了贝叶斯分类算法的设计模型，分析了该模型实验的各个步骤，以及具体实现。第4章，总结。对本论文进行了总结工作，并指出这些方法不足之处，为将来的实验研究作好了铺垫。最后，我想谈谈这篇论文和系统存在的不足。由于我把178个样本分成了130个训练样本和48个测试样本，训练样本与测试样本的比例不是很高，所以得到的TP没有达到理想的程度。这篇论文的写作以及修改的过程，也是我越来越认识到自己知识与经验缺乏的过程。虽然，我尽可能地收集材料，运用自己所学的知识进行论文写作，但论文还是存在许多不足之处，有待改进。请各位评委老师多批评指正，让我在今后的学习中学到更多，谢谢！这是我的开场白 希望对你有用
老师们同学们，大家上午好，我是某专业某班的某某，我的毕业设计题目是***，这个题目是我在（什么样的背景下，什么什么样的契机）选的，通过什么样的方法进行的研究，想达到一种什么样的效果。然后把大纲念一遍，加点连接语更好。（期间礼节性用语还是说点）答辩这个事，每个学校会不一样。我给我答辩的过程敲下来，作为一个参考嘛，并不一定要选为最佳答案。分享一下而已。我是国际商务专业，专业课程跟楼主的还是有一定关联。答辩小组的老师都是我们院的老师，不会太为难你的。答辩注意的问题：细节。也就是论文格式问题，一定要过关，可以找个模板，一个一个弄好，然后多找几个朋友互相交换纠正一下。我们是分成小组上去答辩的，团支书在旁边记录答辩过程。首先老师会叫你简单描述一下你写的论文，其实也就是提纲。我是把论文打印了一下，然后用笔把提纲在背面写了一遍，拿着上去念的。这个过程只要装着不紧张，说话流利就行，一般老师都没听这个内容，他们这个时候正在考虑怎么问你（当让问题是他们提前看论文后想好的），和看你在台上的表达状况。流利是王道。回答问题阶段，这个很关键啊，这个考的是临场反应，和基础知识的掌握程度。当然这些都是围绕你的论文来的，你肯定得把你论文吃透撒。关于问题的难度，如果你的论文写的很好，老师会问一些深一点的问题，写得一般，也就随便问问吧。他们的原则是，不为难。回答问题一定要有层次性，逻辑性。不能咿呀呜呜的，要口齿清楚。如果紧张，那么放缓语速吧。然后然后，你论文写得很好的话，会被选派到院里，系里进行答辩，我们这个有录像的，面子工程吗？不晓得其他学校是不是也有这个传统。总之：只要你答了，论文写了，格式对了，成绩70+毫无疑问。如果85+，得稍微努点力。
各位老师，上午好！我叫谢天香，是07计2班的学生，我的论文题目是贝叶斯分类算法的设计与实现。论文是在导师的悉心指导下完成的，在这里我向我的导师表示深深的谢意，同时向各位老师参加我的论文答辩表示衷心的感谢。下面我将本论文设计的目的和主要内容向各位老师作一汇报，恳请各位老师批评指导。首先，我想谈谈这个毕业论文设计的目的及意义。……其次，我想谈谈这篇论文的结构和主要内容。本文分成4个部分.第1章，绪论。主要介绍了贝叶斯分类器研究的意义，国内外发展现状和本课题研究内容。第2章，贝叶斯分类算法概述。介绍了本系统采取的核心算法—贝叶斯算法的数学模型，贝叶斯分类器的工作原理与理论原型。第3章，贝叶斯分类算法的设计与实现。讨论了贝叶斯分类算法的设计模型，分析了该模型实验的各个步骤，以及具体实现。第4章，总结。对本论文进行了总结工作，并指出这些方法不足之处，为将来的实验研究作好了铺垫。最后，我想谈谈这篇论文和系统存在的不足。由于我把178个样本分成了130个训练样本和48个测试样本，训练样本与测试样本的比例不是很高，所以得到的TP没有达到理想的程度。这篇论文的写作以及修改的过程，也是我越来越认识到自己知识与经验缺乏的过程。虽然，我尽可能地收集材料，运用自己所学的知识进行论文写作，但论文还是存在许多不足之处，有待改进。请各位评委老师多批评指正，让我在今后的学习中学到更多，谢谢！这是我的开场白希望对你有用
我也是法学专业的，前天刚答辩完，只不过我是刑法第一个出场，论文又涉及极具争议的邓玉娇案，所以答辩居然花了50分钟。根据我的答辩过程，说说我的感受吧，希望对你有用。自述方面，先向老师说问候语，然后介绍自己是某级某班的某某，自己论文的题目，论文主体研究的目的，意义。接着介绍论文的结构，分几个部分，每个部分写的是什么，以及自己的研究成果。最后结束语要感谢自己的导师，希望各位答辩老师指正。自述要尽量简练，让答辩老师熟悉论文的大概，尽量在5分钟内完成。你也可以上网搜一些答辩自述的范文来修改，然后背下来也行。接下来就是老师问问题了。问题只要根据你论文的内容来定，比如对于小产权房的一些法律问题发表你的观点，也会对你论文中的案例进行提问，也会问一些理论方面的问题等。每个老师的注重都不一样，根据你刚写的论文目录，我觉得你论文的每一个部分都可能被问，特别是法律界定、法律风险和小产权房问题的解决对策。所以一定要多看自己的论文，最好滚瓜烂熟，因为好多问题都是论文中会涉及到的，老师也想看看你对你论文研究的熟悉程度。一般来说，答辩需要15分钟左右（包括自述5分钟），老师会至少提2到3个问题，由易到难。我因为邓玉娇案子就杯具了，被问了十多个问题。最后，还有杀手锏，如果碰到一些很难的问题不会答，你就直接说：“老师，我水平有限，这个问题我还没有深入研究，请您指教。”这招屡试不爽，这样老师也不会为难你了。最后还是那句话，要熟悉自己的论文，答辩的时候要随即应变，不要跟老师降嘴，这样对你没好处。答辩时候没必要紧张，一般都会过的，除非你真的是答非所问，一问三不知。以上就是我的经验，祝你好运。
贝叶斯分类器，即是以贝叶斯决策理论为基础的分类器，什么是贝叶斯决策理论呢？
贝叶斯决策论是贝叶斯学派关于统计推断（根据已有资料或者说数据，对未知问题作出判断）的理论，要理解贝叶斯理论，就不得不和他的 “老对手”——频率学派（经典学派）一起聊。
首先我们看看统计推断的问题是什么。statistical inference 是学统计的目的,即根据样本数据,对总体进行统计推断(假设检验 或 预测).是指统计学中研究如何根据样本数据去推断总体数量特征的方法。统计推断主要可以分为两大类：一类是参数估计问题；另一类是假设检验问题。
关于这些问题，从20世纪上半页至今，频率学派和贝叶斯学派两大学派一直在辩论，也一直互相不服。贝叶斯学派的发展在二十世纪滞后于频率学派，所以我们在学校教材上学到的统计推断的方法基本上都是频率学派的，比如最大似然估计、卡方检验、T检验、矩估计等等。
两个学派争论的点是什么呢？
现在应该对贝叶斯学派的思想有了一点认识了。那我们看看在分类问题上贝叶斯分类器是怎么一回事呢？
贝叶斯分类器是一类分类算法的总称，贝叶斯定理是这类算法的核心，因此统称为贝叶斯分类。
在分类问题中，我们可以根据样本 计算出在样本中各个类别 出现的概率，即后验概率 ，根据之前对贝叶斯统计推断的介绍，还需要引入各种推断结果所带来的损失，我们定义 为将 误分为 时所产生的损失，根据误判出现的概率和导致的损失，可以计算出错误分类是产生的期望损失，称之为“风险”：
设想我们制定了一个判定准则 来对 进行分类得到 ，如果每个分类结果 都是风险最小的结果，那个总体的风险 也是最小的，这就是贝叶斯判定准则，称 为贝叶斯最优分类器。
贝叶斯最优分类器为：
后验概率最大化与风险最小化 ：对于二分类问题，λ要么等于0要么等于1
当 ，即正确分类时， ，所以可以计算此时所以条件风险(该条件下的风险)为
即
就是根据样本 进行分类，想想以前讲过的KNN、LR等，所做的不就是这个工作吗，这种直接对 进行建模来预测 的方法，都叫做 判别式模型（Discriminative Model） ，判别式模型不考虑样本的产生模型，直接研究预测模型。如果我们换一种思路，先得到联合分布 ，再得到后验概率 ，这就是 生成式模型（Generative Model） ，顾名思义，生成式模型会研究样本的产生模型，判别式模型和生成式模型都是监督学习中的概念。
显然生成模型比判别模型包含更多的信息，可以做到更多的事，实际上由生成模型可以得到判别模型，但由判别模型得不到生成模型，贝叶斯分类器就是从生成模型的角度来解决分类问题，怎么实现呢？
是类“先验”（prior）概率； 是样本x相对于类标记c的类条件概率（class-conditional probability）; 是用于归一化的“证据”（evidence）因子。
类先验概率 表达了样本空间中各类样本所占的比例，根据大数定律，当训练集包含充足的独立同分布样本时， 可通过各类样本出现的频率来进行估计 . 看起来是样本出现的概率，对给定样本 ，从形式上也可以看出 与样本的类标记无关 ，因此估计 的问题就转化为如何基于训练数据D来估计先验 和 的问题，所以问题的重点就是怎么求 ，得到 就能得到联合概率 ，也能能得到一个贝叶斯分类器了。那么怎么完成呢？能直接通过样本中的频率来统计吗？
对 来说，由于它涉及关于x 所有属性的联合概率，直接根据样本出现的频率来估计将会遇到严重的困难，例如，假设样本的 d 个属性都是二值的，则样本空间将有 种可能的取值，在现实应用中，这个值往往远大于训练样本数m，也就是说，很多样本取值在训练集中根本没有出现，直接使用频率来估计 显然不可行，因为"未被观测到"与"出现概率为零"通常是不同的。
那应该怎么计算呢？先说第一种方法： 最大似然估计 。
要求得类条件概率 ，如果我们什么信息都没有肯定是不行的，所以一般假设我们知道它的概率分布，然后用一定方法来求出分布的参数即可。对于求分布的参数，一般使用最大似然估计MLE，虽然MLE是频率学派的估计方法，不过好用的东西大家一起用嘛，贝叶斯学派有个差不多的估计方法：最大后验估计MAP，不过MAP比MLE多了个作为因子的先验概率P(θ)，更复杂一些，这些内容咱们下回再讲。
说回最大似然估计，说到最大似然估计就不得不问一句，什么是似然？这里需要好好的说道说道，只有搞清楚似然的概念才能理解怎么计算它。
极大似然是频率学派的参数估计方法，似然即参数的似然，是由频率学派建立的、极大似然估计中的重要概念。从前文可知，频率学派认为参数是确定值，参数的似然就表达了给定样本 下某参数为这个确定值的可能性。在计算上，参数的似然值等于在该参数下事件发生的概率 。也就是说，似然值可以用概率来计算，但似然却不是概率，因为频率学派的体系下， 参数不是随机变量，故似然不是概率 ，概率是在确定参数的情况下，观测结果发生的可能性，概率的对象是概率空间中的事件，而似然的对象是参数。
因此，似然函数定义为：似然函数 是给定样本x时，关于参数θ的函数，其在数值上等于给定参数θ后变量X的概率
值得注意的是，因为 不是随机变量，所以各个 所对应的似然值是不能做累加的，我们都知道： ，这也是概率的一个基本性质，而似然是不满足这一点的， 并不为1，比如两个不均匀的硬币，正面的概率未知作为 ，给定 为观察到一次正面， 时 ， 时 ，显然加和大于1，其实甚至可以说这样相加是没有意义的，因为 只是似然函数的自变量，并不是概率空间里的取值。这也从一方面说明似然是不满足概率定理（柯尔莫果洛夫公理）的三个条件的，似然并不是概率。
关于似然，知乎上还有一个很形象的例子，他山之石，可以借鉴一下， 如何理解似然函数?HiTao的回答
其中的核心观点是：似然和概率两个函数有着不同的名字，却源于同一个函数。 是一个有着两个变量的函数。 如果，你将θ设为常量，则你会得到一个概率函数（关于x的函数）；如果，你将x设为常量你将得到似然函数（关于θ的函数） 。
举一个例子： 有一个硬币，它有 的概率会正面向上，有 的概率反面向上。现有正反序列： 。无论 的值是多少，这个序列的概率值为
比如，如果 ，则得到这个序列的概率值为0。如果 ，概率值为1/1024。 尝试所有 可取的值，画出了下图，即为似然函数的函数图像：
可以看出 时的似然值最大，即是最可能是真值的参数值，这就是最大似然估计的思想了。
现在应该对似然有了一定的了解了，我们回忆一下贝叶斯分类器说到哪了，对：
我们的目标是用最大似然估计计算得到 ，得到联合分布，具体做法及MLE和MAP的区别下一篇再细说~
主要参考资料
《机器学习》周志华 如何理解似然函数?HiTao的回答
.
贝叶斯理论，是英国数学家贝叶斯(1701年—1761年) Thomas Bayes发明创造的一系列概率论理论，并广泛应用于数学、工程等领域。在数学领域，贝叶斯分类算法应用于统计分析、测绘学，贝叶斯公式应用于概率空间，贝叶斯估计应用于参数估计，贝叶斯区间估计应用于数学中的区间估计，贝叶斯风险、贝叶斯统计、贝叶斯序贯决策函数、经验贝叶斯方法应用于统计决策论。在工程领域，贝叶斯定理应用于人工智能、心理学、遗传学，贝叶斯分类器应用于模式识别、人工智能，贝叶斯分析应用于计算机科学，贝叶斯决策、贝叶斯逻辑、人工智能应用于人工智能，贝叶斯推理应用于数量地理学、人工智能，贝叶斯学习应用于模式识别。在其他领域，贝叶斯主义应用于自然辩证法，有信息的贝叶斯决策方法应用于生态系统生态学。
网页链接
（1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。在现实世界中有时会出现这种情况。（如已知为正态分布了，根据标记好类别的样本来估计参数，常见的是极大似然率和贝叶斯参数估计方法）（2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。在现实世界中有时会出现这种情况。（如已知判别式函数为线性或二次的，那么就要根据训练样本来估计判别式的参数，常见的是线性判别式和神经网络）（3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。在现实世界中经常出现这种情况。（如首先要估计是什么分布，再估计参数。常见的是非参数估计）（4）只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。（这是无监督的学习）（5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。问题：假设我们将根据特征矢量x 提供的证据来分类某个物体，那么我们进行分类的标准是什么？decide wj， if（p(wj|x)>p(wi|x)）(i不等于j)应用贝叶斯展开后可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj)，决策规则就是似然率测试规则。结论：对于任何给定问题，可以通过似然率测试决策规则得到最小的错误概率。这个错误概率称为贝叶斯错误率，且是所有分类器中可以得到的最好结果。最小化错误概率的决策规则就是最大化后验概率判据。
贝叶斯决策（BayesianDecisionTheory）就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
贝叶斯决策属于风险型决策，决策者虽不能控制客观因素的变化，但却掌握其变化的可能状况及各状况的分布概率，并利用期望值即未来可能出现的平均状况作为决策准则。
注意事项：
（1）如果，我们已知，被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们，就需要从训练样本集合中，来估计概率分布的参数。在现实世界中，有时会出现这种情况。
（2）如果，我们不知道，任何有关被分类类别概率分布的知识，已知，已经标记类别的训练样本集合和判别式函数的形式，那我们，就需要从训练样本集合中，来估计判别式函数的参数。在现实世界中，有时会出现这种情况。
（3）如果，我们既不知道，任何有关被分类类别概率分布的知识，也不知道，判别式函数的形式，只有已经标记类别的训练样本集合。那我们，就需要从训练样本集合中，来估计概率分布函数的参数。在现实世界中，经常出现这种情况。
网上搜集 仅供参考目前学术不端检测系统比较完善，在撰写论文时一定要避免抄袭《科技传播》杂志 国家级科技学术期刊中英文目录知网万方全文收录编辑部直接收稿百度空间有期刊详细信息摘 要 本文论述了目前国内外汽车安全气囊控制的一些主要算法，并解释了该算法中的核心内容和研究特点。在结合传统方法的同时，提出了两种新的算法——数据融合控制算法和模式识别控制方法。 关键词 安全气囊；汽车碰撞；数据融合；模式识别1 引言 汽车安全气囊的应用拯救了许多乘员的生命。但随着汽车的应用越来越多，气囊错误弹出的情况也时有发生，这样反而会威胁到乘员的安全，所以必须提高安全气囊的控制性能。因此，我们也需要进一步研究气囊控制算法。 汽车安全气囊技术发展到今天，其优劣已经不在于是否能够判断发生碰撞和实现点火，现代的安全气囊控制的关键在于能够在最佳时间实现点火和对于非破坏性碰撞的抗干扰。只有实现最佳时间点火，才能够更好的保护驾驶员和乘客。 最佳时间的确定在于当汽车发生碰撞的过程中，乘员向前移动接触到气囊，此时气囊刚好达到最大体积，这样的保护效果最好。如果点火慢了，则乘员在接触气囊的时候，气囊还在膨胀，这样会对乘员造成额外的伤害。如果点火快了，乘员在接触到气囊的时候气囊已经可以萎缩，则气囊不能对乘员的碰撞起到最好的缓冲作用，也就不能很好的起到对乘员的保护作用。图1 气囊示意图 第二个是气囊的可靠性问题，也就是对于急刹车、过路坎和其他非破坏性碰撞时引起的冲击信号的抗干扰。汽车在颠簸路面上行驶或以很低速度的碰撞产生的加速度信号可能会令气囊误触发，一个好的控制系统应该能够很好的识别这些信号，从而在汽车产生非破坏性碰撞时不会使气囊系统误打开。 第三个就是气囊控制技术的基本指标，包括避免以下情况：①气囊可能在很低的车速时打开。车辆在很低车速行驶而发生碰撞事故时，只要驾驶员和乘员系上了安全带，是不需要气囊打开起保护作用的。这时气囊的打开造成了不必要的浪费。②当乘客偏离座位或座位上无人，气囊系统的启动不仅起不到应有的保护作用，还可能对乘客造成一定伤害[1]。2 安全气囊点火控制的几种算法 1) 加速度法 该算法是通过测量汽车碰撞时的加速度（减速度），当加速度超过预先设定的阈值就弹出安全气囊。 2) 速度变量法 该算法是通过对汽车加速度进行积分从而得到加速度变化量，当加速度变化量超过预先设定的阈值时就弹出安全气囊。 3) 加速度坡度法 该方法是对加速度进行求导得到加速度的变化量作为判断是否点火的指标。 4) 移动窗积分算法[2] 对加速度曲线在一定时间内进行积分，当积分值超过预先设置的阈值时，就发出点火信号。 移动窗积分算法 下面具体介绍一下移动窗积分算法，选定以下几个观察量作为气囊点火的条件指标。①汽车碰撞时的水平方向加速度（或减速度）ax。ax是直接反映碰撞激烈程度的信号，而且ax在最佳点火时刻的选取中起关键作用。②汽车碰撞时垂直方向的加速度ay，气囊控制系统加入ay对非碰撞信号能起到很大的抗干扰作用，当汽车发生正向碰撞时，ay与ax有很大的不一致性[3]；而当汽车受到路面干扰，例如汽车与较高的台阶直接相撞时，ay与ax有很大的一致性[3]，可以由此来判别干扰信号。结合这几个量，得出一个判断气囊点火的最佳指标。 需要采样一个时间段（从碰撞开始）ax的值，根据这一系列的值才能判断碰撞的激烈程度. 气囊点火控制算法应在发生碰撞后20～30ms内做出点火判断，因为气囊膨胀到最大需要时间大概为30ms[4]，在碰撞初速度为时，人体向前移动5inch到达接触气囊的时间大概为70ms，则目标点火时刻为70－30＝40ms，所以气囊打开应该在碰撞后的40ms时刻，所以算法必须在20～30ms内做出点火决定。这样可以采样碰撞后的20个加速度值（频率是1kHZ）作为算法的输入值。而对于垂直方向也可以如此采样。则可得两组值：ax(1)，ax(2)……ax(20)；ay(1)，ay(2)……ay(20). 移动窗算法中对ax的处理为（1）式： (1)图2 移动窗口算法示意图 其中t为当前时刻，w为时间窗宽度（采样时间宽度），对ax(t)进行积分，得到指标S(t，w)，当S(t，w)超过预先设定值时，则发出点火信号。 写成离散形式，如式(2)： (2) n为当前时间点，k为采样点数，f为采样频率。 加上垂直加速度之后，可以提高对路面干扰的抗干扰能力[3]，形式如式(3)： (3) S(n，k，ρ)为双向合成积分量，n，f，k如上定义；ρ为合成因数，表征两个方向加速度在合成算法中的权重。这种算法主要是考虑了汽车碰撞时的加速度因素，当加速度的积分达到一定值的时候，表示汽车的碰撞剧烈程度也到达一定值，会给乘员带来一定伤害。而且这种算法对于判断最佳点火时刻也是很有优势的，经过实验，利用这种算法得出的点火时刻离汽车碰撞的最佳点火时刻（利用摄像得出）仅差几毫秒[2]，符合要求的精度。 但是这种算法也有其不足，例如没有考虑碰撞时的速度以及座位上有没有人的因素，这样当汽车低速运行的时候，还是有可能引起误触发。如果将速度和座位上是否有人的信号引入，则可以进一步减少误触发的机会。 利用数据融合提出的改进算法 由上面的叙述中我们可以知道，移动窗积分算法对于气囊弹出与否进行判断主要是根据积分量S，现在我们对积分量进行一些改造，可以克服上述缺点。具体做法如下，加入以下几个观察量：（1）汽车碰撞时的水平方向速度v，v可以反映汽车碰撞时乘客的受伤害程度。v越大，乘客的动能就越大，碰撞时受到的伤害就越大。v是判断气囊是否应该打开的最直接的指标。（2）坐位上是否有乘员的信号[5]。坐位上无人时，当发生碰撞则可以不弹出气囊，这样做可以减少误触发的几率，同时避免对其他乘员的伤害。 引入函数，这个函数的波形为：图3 函数波形图 当v超过30km/h的时候，y的值就大于1；反之就小于1。现在普遍采用的标准是，安全带配合使用的气袋引爆车速一般为：低于20km/h正面撞击固定壁时，不应点爆。而在大于35km/h碰撞时，必须点爆。在20km/h和35km/h之间属于可爆可不爆的范围。所以我们取v0＝30km/h为标准点，这样结合上面的移动窗积分算法，提出新的S1，则S1为： (4) 这样当v>v0时，汽车点火引爆的灵敏度就比原来大了；而v 网页链接 对于一个数据进行分类，那么数据的属性信息称为x，如果知道后验概率的情况下即能得到确定x的情况下分类为ci的概率。这时我们还需要一个损失的权值，λij称为i错判为j的损失（λii为0，一般λij都相等=1但具体情况可以具体分配），由前边得到的后验概率来乘上这个λ的参数这就叫做条件风险（conditional risk）。 那么我们可以设计一个映射关系h，从x->c可以将结果带入条件风险，求整体风险最小。 但是其中后验概率很难在现实任务中取到，所以引入机器学习的目标的就是去训练这样一个后验概率（从大量的样本数据中）当然也有两种方式： 可以看到前边判别类别的决策树，bp，svm都是判别式模型。（从这里看出我们的终极目标还是去计算 p(c|x) ，符合现实的要求。） 根据贝叶斯定理，要求联合概率分布，可以通过 p(c )*p(x|c)/p(x) 来得到，前者是类先验概率，后者是类条件概率，或者称似然。 p（x） 是用于归一化的证据因子，对于给定的样本x，证据因子和类标记无关。（证据因子的存在知识为了保证各类别的后验概率的总和为1,所以在固定x的情况下这一项相当于常数，在比较时不做考虑） 但如果x样本的属性很多或者是一个连续值，那么样本个数是不可能完全模拟到所有的取值的，更不用说还要去计算他们出现的联合概率了，也就是说得到的 p(x|c) 会有很多零值。 那么无法通过样本来进行模拟分布，可以用mle（极大似然估计）的方法，通过设定一个通用的分布函数（如：正态分布，不一定是正态，所以这个假设存在一定误差，或者说我们在指定假设分布形式时需要参考一定的先验知识（也就是我们训练数据的风格））然后通过训练分布中的参数来让极大似然最大。 1.朴素贝叶斯分类器：（naïve bayes classification） 条件： 将所有的属性假设为相互独立也就是每个属性独立地对分类结果发生影响，这个想法很天真，很梦幻。 当然有了这个假设就很好计算了，计算联合分布的过程：通过训练集D来得到类先验概率然后再得到类条件概率。对于离散的取值数据量够可以直接用取值在训练集D中的概率直接估计，对于离散取值过多，或者是连续取值的情况可以用最大似然来做估计。 然后通过计算和比较 p（c=1，x) 和 p（c=2,x) 的大小，来或者最后输出c是判为1还是2。 因为离散取值会因为在数据集中找不到而变成概率为0，这样会影响所有的判断，这样就可以通过一个平滑处理（如：拉普拉斯修正）来将其修正为 （Dci+1）/（Dc+Nx） ，Dci为类别为c，x属性取值为i的个数，Nx为属性x的可能的取值数。同理对于类先验也要进行平滑处理。（这样的平滑操作算是一种先验，而且随着样本集增大影响逐渐减少的趋向于真实值。） 2.半朴素贝叶斯分类器（semi-naïve bayes classification） 条件： 既然所有属性都假设为相互独立过于天真，那么我们假设一种独依赖，也就是假设每一个属性在类别之外最多仅依赖于一个其他属性。我们称这种假设为semi-naïve 的假设。 那么这样的独依赖也会有一些设计的方式: 1.都依赖于一个相同的父属性(SPODE); 2.随机依赖于除自己以外的其他的属性，但要让生成的树达到最大的权值（权值由两个属性之间的条件互信息来决定），构成最大带权生成树（TAN）。 但是因为有无环的性质，所以无论哪一种最后一定会有一个属性是没有父依赖的。 3.非朴素贝叶斯--贝叶斯网络：（放弃之前“天真”的假设） 条件： 前边半朴素通过图连接来刻画属性之间的依赖关系，那么同样贝叶斯网络也在用这种有向无环图来刻画属性之间的依赖关系，并用条件概率表（CPT，conditional probability table）作为边的参数也就是（整个贝叶斯网络的参数）主要是子属性和父属性相对应的条件概率。而一个属性他的父属性个数没有任何限制。 问题： 但这样不如上一个半朴素贝叶斯结构基本固定直接遍历搜索空间也不会很大，可以用最大边的方式构建贝叶斯网络，也就是说这样的网络结构很难去构建和生成，主要是用似然损失+构造损失（参数个数*参数的精度）作为损失函数来进行优化，但是这直接求解是一个NP难的问题，这样就有两种方式第一种：贪心法，通过初始化一个网络结构，然后每次调整一个边（增加，删除或调整方向）使得loss变化最大，直到最后评分函数无法在降低。（当然这样的一个初始化网络结构就会变得很重要）第二种：通过给网络结构添加约束，比如将网络结构限定为树形结构等。 方法： 除了之前我们用作的分类问题，还可以做扩展到一个推断的问题，比如蒙着眼摸出西瓜的根蒂，形状，大小，能推断出它的色泽到底是青绿还是黄绿，是好瓜还坏，甜度如何等等。而且还可以直接精确计算出后验概率，但是当网络结点很多，连接又很稠密，而且查询的属性又含有依赖关系的时候，在短时间内计算出准确的结果会很难。所以我们通过借助近似的方式推断结果。（我们只想知道哪种可能性大得多，具体大多少不是我们要求的结论） 这种近似的做法就是吉布斯采样方法，固定我们获得的证据属性E，然后通过初始化一个q0，接着对于q0中的某一个属性根据其他的属性不变，根据计算得到的条件概率进行采样。这是一个马尔科夫链（marcov chain），性质：在经过t次的采样之后，马尔科夫会收敛于一个平稳分布，而这个平稳分布正是我们要求的那个 p（Q|E=e） 的分布。这样我们就可以通过吉布斯采样来得到一个模拟化的分布得到q最有可能的取值。（或者给定q， p（q|E=e） 估计的概率是多少） 隐变量介绍以及解决方法： 上诉还有一个问题那就是属性缺失的情况下怎么办，我们的模型网络还能创建得出来吗？也就是说存在隐变量（latent variable）该怎样解决这样的问题？ EM(Expectation-Maximization）算法是常用的估计参数隐变量的方法。 主要的思想就是：隐变量和模型参数是我们要求的，而二者之间存在相互依赖的关系，也就是不知道隐变量无法求出模型参数，不知道模型参数也无法反推出隐变量。那如果是一种优化迭代算法的话，初始化隐变量，然后训练得到最优的参数，然后通过固定最优的参数再反过来训练到最优的隐变量。直到最后收敛到一个局部最优解。（所以这种算法求解的结果是和 初始值关系比较大的局部最优解，如果能找到一个接近全局最优解的初始值，或者在接受解的概率上做调整不至于过快收敛，可能可以得到一个更好的解。） 参考文献：西瓜书-贝叶斯决策论 概率图模型是用图来表示变量概率依赖关系的理论，结合概率论与图论的知识，利用图来表示与模型有关的变量的联合概率分布。由图灵奖获得者Pearl开发出来。 如果用一个词来形容概率图模型（Probabilistic Graphical Model）的话，那就是“优雅”。对于一个实际问题，我们希望能够挖掘隐含在数据中的知识。概率图模型构建了这样一幅图，用观测结点表示观测到的数据，用隐含结点表示潜在的知识，用边来描述知识与数据的相互关系， 最后基于这样的关系图获得一个概率分布 ，非常“优雅”地解决了问题。 概率图中的节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中 有向边表示单向的依赖，无向边表示相互依赖关系 。 概率图模型分为 贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network） 两大类。贝叶斯网络可以用一个有向图结构表示，马尔可夫网络可以表 示成一个无向图的网络结构。更详细地说，概率图模型包括了朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等，在机器学习的诸多场景中都有着广泛的应用。 长久以来，人们对一件事情发生或不发生的概率，只有固定的0和1，即要么发生，要么不发生，从来不会去考虑某件事情发生的概率有多大，不发生的概率又是多大。而且概率虽然未知，但最起码是一个确定的值。比如如果问那时的人们一个问题：“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率是多少？”他们会想都不用想，会立马告诉你，取出白球的概率就是1/2，要么取到白球，要么取不到白球，即θ只能有一个值，而且不论你取了多少次，取得白球的 概率θ始终都是1/2 ，即不随观察结果X 的变化而变化。 这种 频率派 的观点长期统治着人们的观念，直到后来一个名叫Thomas Bayes的人物出现。 托马斯·贝叶斯Thomas Bayes（1702-1763）在世时，并不为当时的人们所熟知，很少发表论文或出版著作，与当时学术界的人沟通交流也很少，用现在的话来说，贝叶斯就是活生生一民间学术“屌丝”，可这个“屌丝”最终发表了一篇名为“An essay towards solving a problem in the doctrine of chances”，翻译过来则是：机遇理论中一个问题的解。你可能觉得我要说：这篇论文的发表随机产生轰动效应，从而奠定贝叶斯在学术史上的地位。 这篇论文可以用上面的例子来说明，“有一个袋子，里面装着若干个白球和黑球，请问从袋子中取得白球的概率θ是多少？”贝叶斯认为取得白球的概率是个不确定的值，因为其中含有机遇的成分。比如，一个朋友创业，你明明知道创业的结果就两种，即要么成功要么失败，但你依然会忍不住去估计他创业成功的几率有多大？你如果对他为人比较了解，而且有方法、思路清晰、有毅力、且能团结周围的人，你会不由自主的估计他创业成功的几率可能在80%以上。这种不同于最开始的“非黑即白、非0即1”的思考方式，便是 贝叶斯式的思考方式。 先简单总结下频率派与贝叶斯派各自不同的思考方式： 贝叶斯派既然把看做是一个随机变量，所以要计算的分布，便得事先知道的无条件分布，即在有样本之前（或观察到X之前），有着怎样的分布呢？ 比如往台球桌上扔一个球，这个球落会落在何处呢？如果是不偏不倚的把球抛出去，那么此球落在台球桌上的任一位置都有着相同的机会，即球落在台球桌上某一位置的概率服从均匀分布。这种在实验之前定下的属于基本前提性质的分布称为 先验分布，或着无条件分布 。 其中，先验信息一般来源于经验跟历史资料。比如林丹跟某选手对决，解说一般会根据林丹历次比赛的成绩对此次比赛的胜负做个大致的判断。再比如，某工厂每天都要对产品进行质检，以评估产品的不合格率θ，经过一段时间后便会积累大量的历史资料，这些历史资料便是先验知识，有了这些先验知识，便在决定对一个产品是否需要每天质检时便有了依据，如果以往的历史资料显示，某产品的不合格率只有，便可视为信得过产品或免检产品，只每月抽检一两次，从而省去大量的人力物力。 而 后验分布 π（θ|X）一般也认为是在给定样本X的情况下的θ条件分布，而使π（θ|X）达到最大的值θMD称为 最大后验估计 ，类似于经典统计学中的 极大似然估计 。 综合起来看，则好比是人类刚开始时对大自然只有少得可怜的先验知识，但随着不断观察、实验获得更多的样本、结果，使得人们对自然界的规律摸得越来越透彻。所以，贝叶斯方法既符合人们日常生活的思考方式，也符合人们认识自然的规律，经过不断的发展，最终占据统计学领域的半壁江山，与经典统计学分庭抗礼。 条件概率 （又称后验概率）就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B)，读作“在B条件下A的概率”。 比如上图，在同一个样本空间Ω中的事件或者子集A与B，如果随机从Ω中选出的一个元素属于B，那么这个随机选择的元素还属于A的概率就定义为在B的前提下A的条件概率： 联合概率： 边缘概率(先验概率)：P(A)或者P(B) 贝叶斯网络(Bayesian network)，又称信念网络(Belief Network)，或有向无环图模型(directed acyclic graphical model)，是一种概率图模型，于1985年由Judea Pearl首先提出。它是一种模拟人类推理过程中因果关系的不确定性处理模型，其网络拓朴结构是一个有向无环图(DAG)。 贝叶斯网络的有向无环图中的节点表示随机变量 它们可以是可观察到的变量，或隐变量、未知参数等。认为有因果关系（或非条件独立）的变量或命题则用箭头来连接。若两个节点间以一个单箭头连接在一起，表示其中一个节点是“因(parents)”，另一个是“果(children)”，两节点就会产生一个条件概率值。 例如，假设节点E直接影响到节点H，即E→H，则用从E指向H的箭头建立结点E到结点H的有向弧(E,H)，权值(即连接强度)用条件概率P(H|E)来表示，如下图所示： 简言之，把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。其主要用来描述随机变量之间的条件依赖，用圈表示随机变量(random variables)，用箭头表示条件依赖(conditional dependencies)。 此外，对于任意的随机变量，其联合概率可由各自的局部条件概率分布相乘而得出： 1. head-to-head 依上图，所以有：P(a,b,c) = P(a) P(b) P(c|a,b)成立，即在c未知的条件下，a、b被阻断(blocked)，是独立的，称之为head-to-head条件独立。 2. tail-to-tail 考虑c未知，跟c已知这两种情况： 3. head-to-tail 还是分c未知跟c已知这两种情况： wikipedia上是这样定义因子图的：将一个具有多变量的全局函数因子分解，得到几个局部函数的乘积，以此为基础得到的一个双向图叫做因子图（Factor Graph）。 通俗来讲，所谓因子图就是对函数进行因子分解得到的 一种概率图 。一般内含两种节点：变量节点和函数节点。我们知道，一个全局函数通过因式分解能够分解为多个局部函数的乘积，这些局部函数和对应的变量关系就体现在因子图上。 举个例子，现在有一个全局函数，其因式分解方程为： 其中fA,fB,fC,fD,fE为各函数，表示变量之间的关系，可以是条件概率也可以是其他关系。其对应的因子图为： 在概率图中，求某个变量的边缘分布是常见的问题。这问题有很多求解方法，其中之一就是把贝叶斯网络或马尔科夫随机场转换成因子图，然后用sum-product算法求解。换言之，基于因子图可以用 sum-product 算法 高效的求各个变量的边缘分布。 详细的sum-product算法过程，请查看博文： 从贝叶斯方法谈到贝叶斯网络 朴素贝叶斯(Naive Bayesian)是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。**朴素贝叶斯可以看做是贝叶斯网络的特殊情况：即该网络中无边，各个节点都是独立的。 ** 朴素贝叶斯朴素在哪里呢？ —— 两个假设 ： 贝叶斯公式如下： 下面以一个例子来解释朴素贝叶斯，给定数据如下： 现在给我们的问题是，如果一对男女朋友，男生想女生求婚，男生的四个特点分别是不帅，性格不好，身高矮，不上进，请你判断一下女生是嫁还是不嫁？ 这是一个典型的分类问题，转为数学问题就是比较p(嫁|(不帅、性格不好、身高矮、不上进))与p(不嫁|(不帅、性格不好、身高矮、不上进))的概率，谁的概率大，我就能给出嫁或者不嫁的答案！这里我们联系到朴素贝叶斯公式： 我们需要求p(嫁|(不帅、性格不好、身高矮、不上进),这是我们不知道的，但是通过朴素贝叶斯公式可以转化为好求的三个量，这三个变量都能通过统计的方法求得。 等等，为什么这个成立呢？学过概率论的同学可能有感觉了，这个等式成立的条件需要特征之间相互独立吧！对的！这也就是为什么朴素贝叶斯分类有朴素一词的来源，朴素贝叶斯算法是假设各个特征之间相互独立，那么这个等式就成立了！ 但是为什么需要假设特征之间相互独立呢？ 根据上面俩个原因，朴素贝叶斯法对条件概率分布做了条件独立性的假设，由于这是一个较强的假设，朴素贝叶斯也由此得名！这一假设使得朴素贝叶斯法变得简单，但有时会牺牲一定的分类准确率。 朴素贝叶斯优点 ： 朴素贝叶斯缺点 ： 理论上，朴素贝叶斯模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为朴素贝叶斯模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，在属性个数比较多或者属性之间相关性较大时，分类效果不好。 朴素贝叶斯模型(Naive Bayesian Model)的 朴素(Naive)的含义是"很简单很天真" 地假设样本特征彼此独立. 这个假设现实中基本上不存在, 但特征相关性很小的实际情况还是很多的, 所以这个模型仍然能够工作得很好。 新闻分类 GitHub： 点击进入 【 机器学习通俗易懂系列文章 】 从贝叶斯方法谈到贝叶斯网络 我们描述潜在的狄利克雷分配（LDA），它是一种用于离散数据集合（如文本语料库）的生成概率模型。 LDA是一个三层次的贝叶斯模型，其中一个集合中的每个项目都被建模为一组潜在的话题（主体）类型的有限混合。反过来，每个主题都被建模为一组潜在主题概率的无限混合。 在文本建模的背景下，主题概率提供了文档的明确表示。我们提出了基于变分方法和经验贝叶斯参数估计的EM算法的高效近似推理技术。 我们会报告LDA在文档建模，文本分类和协作过滤上的实验结果，并与一元混合模型（ unigrams model）和概率LSI模型相比较。 在本文中，我们考虑建模文本语料库和其他离散数据集合的问题。我们的目标是找到对一个集合的成员的简短描述，它不仅可以高效处理大型集合，同时保留对分类，异常检测，摘要（概括）以及相似性和相关性判断等基本任务有用的必要统计关系。 信息检索（IR）领域的研究人员已经在这个问题上取得了重大进展（Baeza-Yates和Ribeiro-Neto，1999）。IR研究人员为文本语料库提出的基本方法 （一种在现代互联网搜索引擎中成功部署的方法）将语料库中的每个文档变为实数表示的向量，每个实数都表示（词汇的）计数比率。流行的tf-idf方案（Salton和McGill，1983），对于文集中的每个文档选择了“词”或“术语”作为基本单位，并且计数由每个词的出现次数。在适当的归一化之后，将该术语频率计数与逆向文档频率计数进行比较，该逆向文档频率计数度量整个语料库中的词的出现次数（通常以对数刻度，并且再次适当标准化）。 最终结果是文档术语矩阵X，其列包含文档集中每个文档的tf-idf值。 因此，tf-idf方案将任意长度的文档缩减为固定长度的数字列表。 尽管tf-idf规约具有一些吸引人的特征 - 特别是（在对集合中的文档进行区分的）单词集合的基本识别中，但是在（对文档的）描述长度上，该方法并没有减少多少，并且揭示出很少的文档内或文档间的统计结构。为了解决这些缺点，IR研究人员提出了其他几种降维技术，其中最著名的是潜在语义索引（LSI）（Deerwester等，1990）。LSI使用X矩阵的奇异值分解来标识tf-idf特征空间中的线性子空间，该子空间捕获集合中的大部分变异数（variance）。这种方法可以在大型集合中实现显着压缩。此外，Deerwester等人 认为LSI的衍生特征（即原始tf-idf特征的线性组合），可以捕捉基本语言学概念的某些方面，比如同义词和多义词等。 为了证实关于LSI的主张，并研究其相对的优缺点，开发文本语料库的生成概率模型和研究LSI从数据中恢复生成模型方面的能力是有用的（Papadimitriou et al。，1998）。然而，目前尚不清楚，考虑文本的生成模型的时候，为什么应该采用LSI方法 - （其实）可以尝试更直接地进行，（比如）使用最大似然法或贝叶斯方法将模型与数据相匹配（即得到数据的模型）。 Hofmann（1999）在这方面迈出了重要的一步，他将LSI的概率LSI（pLSI）模型（也称为特征模型aspect model）作为LSI的替代品。我们在第节中详细描述的pLSI方法将文档中的每个单词作为混合模型中的样本进行建模，其中混合组件是多项随机变量，可以将其视为“主题topics”的表示。因此，每个单词都是从单个主题生成的，而文档中的不同单词可以从不同的主题生成。每个文档都被表示为这些混合组件的混合比例列表，从而将其简化为一组固定主题的概率分布。 这种分布是与文档相关的“简化描述”。 虽然霍夫曼的工作是向文本概率建模迈出的有用的一步，但它并不完整，因为它没有提供文档层面的概率模型。在pLSI中，每个文档都被表示为一个数字列表（数字的值是主题的混合比例），并且这些数字没有生成概率模型。这导致了几个问题：（1）模型中参数的数量与语料库的大小成线性增长，这导致过度拟合的严重问题;（2）不清楚如何将概率分配给训练集之外的文档。 要了解如何超越pLSI，让我们考虑包括LSI和pLSI在内的一类降维方法的基本概率假设。所有这些方法都基于“词袋”的假设 - 文档中的单词顺序可以忽略不计。此外，尽管不经常正式说明，但这些方法也假定文档是可相互交换的; 文集中文档的具体排序也可以忽略不计。 受益于Finetti（1990），一个经典表示理论认为：任何可交换随机变量的集合都具有混合分布（通常是无限混合）的表示。因此，如果我们想考虑文件和单词的可交换表示，我们需要考虑能捕获单词和文档的可交换性的混合模型。这一思路促使我们在当前论文中提出潜在狄利克雷分配（LDA）模型。 需要强调的是，可交换性的假设并不等同于随机变量独立同分布的假设。相反，可交换性本质上可以被解释为“条件独立且分布相同”，其中的条件是与概率分布的潜在隐参数有关的。在一定条件下，随机变量的联合分布是简单的，但如果围绕隐参数考虑，联合分布可能相当复杂。因此，虽然可交换性的假设是文本建模领域的一个主要的简化假设，并且其主要理由是它是一种会导致计算效率较高的方法，但可交换性假设对简单频率的计数或线性操作并不是一个必要的条件。在当前的论文中，我们的目标是，通过认真考虑de Finetti定理，可以通过混合分布获取重要的文档内统计结构。 同样值得注意的是，可交换性的基本概念有大量的总结概括，包括各种形式的部分可交换性，并且上面提到的表示法也可用于部分可交换的情况（Diaconis，1988）。因此，虽然我们在当前论文中讨论的工作集中在简单的“词袋”模型上（这表现为单个单词（unigrams）的混合分布），但我们的方法也适用于涉及较大结构混合的更丰富的模型，如n-grams或段落。 本文的结构如下： 在第2节中，我们介绍基本的表示法和术语。 LDA模型在第3节中介绍，并与第4节中的相关潜变量模型进行比较。我们在第5节讨论LDA的推理和参数估计。第6节提供了LDA拟合数据的一个说明性例子。文本建模，文本分类和协作过滤的实验结果在第7节中给出。最后，第8节给出我们的结论。 我们在整篇论文中使用 文本集合 的说法，指的是诸如“单词”，“文档”和“语料库”等实体。这很有用，因为它有助于指导靠直觉来感知的知识的处理（intuition），特别是当我们引入旨在捕捉抽象概念（如主题）的潜在变量时（潜在变量和隐变量说的是一回事）。然而，需要指出的是，LDA模型不一定与文本相关，并且可应用于涉及数据集合的其他问题，包括来自诸如协同过滤，基于内容的图像检索和生物信息学等领域的数据。 事实上，在节中，我们将呈现在协同过滤领域的实验结果。 在形式上，我们定义下列术语： • 单词是离散数据的基本单位，假设有一个V个词组成的词汇表（词典），索引通过{1......V}表示，里面每一项代表一个单词。我们使用单位向量表示单词，它里面一项等于1其他项等于零。我们使用上标来表示第几个成分，因此第v个词在V维向量w中表示为：w v = 1 and w u = 0 for u ≠ v • 文档中的词来自一个包含N个词的词典，一个文档可以表示成N个词组成的序列，可以表示为 w = (w 1 ,w 2 ......w N )，下标表示第几个词。（注意，每个词用一个V维的向量表示，每篇文档有最多有N个不同的词，不要搞混了） • 一个语料库是含有M个文档的集合，用 D = ( w 1 , w 2 ...... w M )----注意有加粗 我们希望找到一个语料库的概率模型，它不仅为语料库成员分配高概率，而且为其他“类似”文档分配高概率。（意思就是说，语料库中某一文档的某个topic概率比较高，那么测试相似文档。也能得到相同的概率分布） 隐在狄利克雷分配（LDA）是语料库的生成概率模型。 其基本思想是文档被表示为潜在主题的随机混合，每个主题都是有不同的文字（词）分布特征的。 LDA为语料库 D 中的每个文档 w 假定以下生成过程： 在这个基本模型中做了几个简化的假设，其中一些我们在后面的章节中会删除。首先，Dirichlet分布的维度k（以及主题变量z的维度）被假定为已知并且是固定的。其次，单词概率通过k×V矩阵 β 进行参数化，其中 β ij = p（w j = 1 | z i = 1）（猜测：它表示在某个主题中索引为i的词出现的条件下，文档中第j个词出现的概率），现在我们将其视为待估计的固定量。最后，泊松假设对随后的任何事情都不是关键的，并且可以根据需要使用更真实的文档长度分布。此外，请注意，N与所有其他数据生成变量（θ和z）无关。 因此它是一个辅助变量，我们通常会忽略它在随后发展中的随机性。 一个k维Dirichlet随机变量θ可以从(k − 1)-simplex（单形或单纯形）中取值，并且在这个单纯形中有以下概率密度： α 参数是一个k维向量，并且 α 的每一项都满足α i > 0，另外Γ(x)是 伽马函数 。狄利克雷分布在单形（属于指数族）上是一种实用的分布，具有有限维数的充分统计量，并且与多项分布共轭。 在第5节中，这些属性将有助于开发LDA的推理和参数估计算法。 给定参数α和β，主题混合分布θ、主题 z 和文档 w 的联合分布为： 上式表示给定参数α和β的条件下，文档的概率分布。 最后，利用单个文档边际概率的乘积，得到一个语料库的概率分布： 区分LDA和简单的Dirichlet多项式聚类模型很重要。 经典的聚类模型会涉及到一个两层模型：其中，一个Dirichlet为一个语料库抽样一次，一个多项式聚类变量为语料库中的每个文档选择一次，并且以聚类变量为条件，为文档选择一组词语 。与许多聚类模型一样，这种模型将文档限制为与单个主题相关联。另一方面，LDA涉及三个层次，特别是主题节点在文档中被重复采样。在这种模式下，文档可以与多个主题相关联。 图1所示类似结构通常在贝叶斯统计建模中研究，它们被称为分层模型（Gelman等，1995），或者更准确地说，是条件独立的分层模型（Kass和Steffey，1989）。这种模型通常也被称为参数经验贝叶斯模型（parametric empirical Bayes models），这个术语不仅指特定的模型结构，而且还指用于估计模型参数的方法（Morris，1983）。事实上，正如我们在第5节中讨论的那样，我们采用经验贝叶斯方法来估计一个LDA简单实现中的参数（比如，α和β等），但我们也考虑了更充分的贝叶斯方法。 如果联合分布对于置换是不变的，那么一个有限的随机变量集{z 1 ......z N }被认为是可交换的。 如果π（此π非彼π）表示某种整数从1到N的置换规则，则： p(z 1 ......z N ) = p(z π(1) ......z π(N) ) 如果每个有限的子序列是可交换的，则无限序列的随机变量是无限可交换的。 De Finetti的表示定理指出，随机变量的无限可交换序列的联合分布就好像从一些分布中抽取的一个随机参数，以该参数为条件，所讨论的随机变量是独立同分布的。 在LDA中，我们假设单词是由主题（通过固定的条件分布）生成的，而且这些主题在文档中是无限可交换的。根据菲内蒂定理，一组词汇和话题的概率必须具有以下这种形式： θ是关于主题的多项式的随机参数。通过边缘化主题变量并赋予θ狄利克雷分布，在公式（3）中，我们获得了文档的LDA分布。 图1所示的LDA模型比传统分层贝叶斯文献中经常研究的两层模型要复杂得多。然而，通过边缘化隐藏的主题变量z，我们可以将LDA理解为两层模型。 特别是，让我们来构造单词分布p(w|θ,β)： 请注意，这是一个随机量，因为它取决于θ。 我们现在为文档 w 定义下面的生成过程：（对每篇文档） 该过程将文档的边际分布定义为连续混合分布：（注意下式表示的是语料库，而非一篇文档 的分布） 图2说明了LDA的这种解释。 它描绘了LDA模型的一个特定实例引发的p(w| θ,β)的分布。请注意，在（V-1） - simplex中的这种分布仅通过k + kV个参数实现，但展现出非常有趣的多模式结构。 在本节中，我们将LDA与文本的简单潜（隐）变量模型（一元模型，一元模型的混合模型和pLSI模型）进行比较。 此外，我们提出了这些模型的统一几何解释，突出了它们的主要区别和相似之处。 在一元模型下，每个文档的单词都是独立的按照某个多项分布而绘制的，生成文档的概率为： 如果我们用一个离散的随机主题变量z（图3b）来扩充一元模型，我们就可以得到一个混合一元模型（Nigam et al.，2000）。在这个混合模型下，首先选择一个主题z，然后从条件多项式p（w | z）独立的生成N个单词，从而生成每个文档（该文档中的所有词都来自一个主题）。一篇文档的概率分布： 在每个文档仅显示一个主题的假设背景下，当从语料库做概率估计时，可以将词语分布视为主题的表示。正如第7节的实证结果所示，这种假设通常限制性太强，以至于无法有效地建模量大的文献。 相反，LDA模型允许文档在不同程度上展示多个主题。这是以（增加）一个额外参数为代价实现的：在混合一元模型中有与p(z)相关的参数有k-1个，而在LDA中与p（θ | α）有关的参数有k个。 概率潜在语义索引（pLSI）是另一个广泛使用的文档模型（Hofmann，1999）。 如图3c所示，给定了未知的主题z，pLSI模型假设文档标签d和单词w n 是条件独立的： 使用pLSI的另一个困难（也是来自于通过训练文档进行索引的分布的使用）是必须估计的参数数量与训练文档的数量呈线性增长。k-主题pLSI模型的参数是在k个未知主题上，V和M混合大小的k个多项式分布。这给出了kV + kM个参数，因此在M中线性增长。参数的线性增长表明该模型容易出现过度拟合，并且根据经验确定，过拟合确实是一个严重的问题（参见第节）。在实践中，使用回火试探来平滑模型的参数以获得可接受的预测性能。 然而，已经表明，即使在使用回火时也可能发生过度拟合（Popescul et al.，2001）。 LDA通过将主题混合权重视为一个k个参数的隐藏的随机变量，而不是大量与训练集明确关联的单个参数，来克服这两个问题。如第3节所述，LDA是一个良好定义的生成模型，可轻松推广到新文档。此外，k-topic LDA模型中的k + kV个参数不会随着训练语料库的大小而增长。我们将在节看到，LDA不会遇到与pLSI相同的过度拟合问题。 说明LDA和其他潜在主题模型之间差异的一种好方法是考虑潜在空间的几何形状，并了解每个模型下文档在该几何体中的表示方式。 上述所有四种模型（unigram, mixture of unigrams, pLSI, and LDA）都是在单词分布空间中进行操作的。每个这样的分布可以被看作是（V-1） - simplex上的一个点，我们称之为词单纯形（the word simplex）。 一元模型在词单纯形上找到一个单一的点，并假定文集中的所有单词来自相应的分布。潜变量模型考虑词单纯形上的k个点，并根据这些点构成子单形体，我们称之为主题单纯形。请注意，主题单纯形上的任何一点也是单词单纯形上的一个点。不同的潜在变量模型以不同的方式使用主题单纯形来生成文档。 • 混合一元模型假设，对于每个文档，词单纯形中的k个点（即，主题单纯形的那些角中的一个）中的一个一旦随机选择后，文档的所有单词都从对应于那一点的分布中获取。 • pLSI模型假定训练文档的每个单词来自随机选择的主题。这些主题本身来自于文档在主题上的特征分布，也就是主题单纯形上的一个角点。每个文件有一个这样的分布，训练文档集因此定义了关于主题单纯形的经验分布。 • LDA假定观察到的（训练集）和未看到的（验证集）文档中的每个词都是由随机选择的主题生成的，该主题是从具有一个随机选择参数的分布中抽取的。 从主题单纯形的平滑分布中，每个文档对此参数进行一次采样。 这些差异在图4中突出显示。 我们描述了使用LDA背后的动机，并说明了其与其他潜在主题模型相比的概念优势。在本节中，我们将注意力转向LDA下的推理和参数估计。 为了使用LDA我们需要解决的关键推理问题是计算给定文档的隐藏变量的后验分布： 不幸的是，这种分布通常难以计算。 实际上，为了规范化分布，我们将忽视隐藏变量并根据模型参数重写方程（3）： 这是一个由于在潜在主题的总和中θ和β之间的耦合，而难以处理的函数（Dickey，1983）。Dickey表示这个函数是在Dirichlet分布的特定扩展下的期望，可以用特殊的超几何函数表示。它在贝叶斯环境中可用于删除（或审查，censored 暂时不明白怎么翻译）离散数据，以表示θ的后验（在该设置中，θ是随机参数）（Dickey等，1987）。 尽管后验分布对于精确推断是难以处理的，但是对于LDA可以考虑各种各样的近似推理算法，包括拉普拉斯近似，变分近似和马尔可夫链蒙特卡罗（Jordan，1999）。在本节中，我们描述了一个简单的基于凸性的变分算法，用于推断LDA，并讨论了第8节中的一些替代方案。 基于凸性的变分推理的基本思想是利用Jensen不等式来获得对数似然的可调下界（Jordan et al。，1999）。本质上，人们考虑一系列下界，它们由一组变分参数索引。变分参数由优化程序选择，该程序试图找到最可能的下限。 获得易处理的下界族的简单方法是考虑原始图形模型的简单修改，原始图形模型中一些边和节点已被移除。特别考虑图5（左）中所示的LDA模型。 θ和β之间的有问题的耦合是由于θ，z和w之间的边界而产生的。 通过丢弃这些边和w节点，并赋予所得到的简化图形模型以及自由变分参数，我们获得了潜在变量的一个分布族。这个分布族以下面这个变分分布为特征： 已经指定了简化的概率分布族，下一步是建立一个确定变分参数γ和Φ的值的优化问题。 正如我们在附录A中所示，找到对数似然的紧密下界的期望直接转化为以下优化问题： 因此，通过最小化变分分布和真实后验p（θ, z | w,α,β）之间的KullbackLeibler（KL）发散来找到变分参数的优化值。这种最小化可以通过迭代定点方法实现。 特别是，我们在附录中表明，通过计算KL散度的导数并将它们设置为零，我们得到以下一对更新方程： 最近有新的项目做，没时间翻译啦，以后有时间再填坑，此处省略3000字...... 贝叶斯推理研究综述_思想政治教育 下的拼音：xià。 部首一部，部外笔画2画，总笔画3画。 五笔GHI，仓颉MY，郑码AID，四角10230。 结构单一，电码0007，区位4734，统一码4E0B。 基本字义： 1、位置在低处的，与“上”相对：下层。下款。 2、等级低的：下级。下品。下乘（佛教用语，一般借指文学艺术的平庸境界或下品）。下里巴人（泛指通俗的普及的文学艺术，常与“阳春白雪”对举）。 3、方面，方位：两下都同意。 4、次序或时间在后的：下卷。下次。下限。 5、由高处往低处，降落：下山。下车。下马。下达。 6、使降落：下半旗。下棋。 7、进入：下海。 相关组词： 水下[shuǐ xià] 水面以下。 下手[xià shǒu] （动）动手；开始做：无从～。（名）助手。 低下[dī xià] （形）（生产水平、经济地位等）在一般标准之下的。 下巴[xià ba] （名）下颌的通称。颏的通称。 下级[xià jí] 指在同一组织系统中级别低的人员或组织。贝叶斯研究论文