贝叶斯定理

目录

贝叶斯其人

定理的研究方向与意义

贝叶斯定理的定义

贝叶斯定理的应用

[编辑本段]

贝叶斯其人

　　贝叶斯，全名 托马斯·贝叶斯（Thomas Bayes），一位伟大的英国数学大师，他的理论照亮了今天的计算领域，和他的同事们不同：他认为上帝的存在可以通过方程式证明，他最重要的作品被别人发行，而他已经去世241年了。

　　有关贝叶斯其他内容，请参看百科词条：贝叶斯

[编辑本段]

定理的研究方向与意义

　　人们根据不确定性信息作出推理和决策需要对各种结论的概率作出估计，这类推理称为概率推理。概率推理既是概率学和逻辑学的研究对象，也是心理学的研究对象，但研究的角度是不同的。概率学和逻辑学研究的是客观概率推算的公式或规则；而心理学研究人们主观概率估计的认知加工过程规律。贝叶斯推理的问题是条件概率推理问题，这一领域的探讨对揭示人们对概率信息的认知加工过程与规律、指导人们进行有效的学习和判断决策都具有十分重要的理论意义和实践意义。

[编辑本段]

贝叶斯定理的定义

　　贝叶斯定理也称贝叶斯推理，早在18世纪，英国学者贝叶斯(1702～1761)曾提出计算条件概率的公式用来解决如下一类问题：假设H[,1],H[,2]…互斥且构成一个完全事件，已知它们的概率P(H[,i],i=1,2,…，现观察到某事件A与H[,1],H[,2]…相伴随而出现，且已知条件概率P(A/H[,i])，求P(H[,i]/A)。

　　贝叶斯公式（发表于1763年）为： P(H[,i]/A)=P(H[,i])P(A│H[,i])/[P(H[,1])P(A│H[,1]) P(H[,2])P(A│H[,2])…]

　　这就是著名的“贝叶斯定理”，一些文献中把P(H[,1])、P(H[,2])称为基础概率，P(A│H[,1])为击中率，P(A│H[,2])为误报率[1]。

[编辑本段]

贝叶斯定理的应用

　　贝叶斯定理用于投资决策分析是在已知相关项目B的资料，而缺乏论证项目A的直接资料时，通过对B项目的有关状态及发生概率分析推导A项目的状态及发生概率。如果我们用数学语言描绘，即当已知事件Bi的概率P（Bi）和事件Bi已发生条件下事件A的概率P（A│Bi），则可运用贝叶斯定理计算出在事件A发生条件下事件Bi的概率P（Bi│A）。按贝叶斯定理进行投资决策的基本步骤是：

　　1 列出在已知项目B条件下项目A的发生概率，即将P（A│B）转换为 P（B│A）；

　　2 绘制树型图；

　　3 求各状态结点的期望收益值，并将结果填入树型图；

　　4 根据对树型图的分析，进行投资项目决策；

　　搜索巨人Google和Autonomy，一家出售信息恢复工具的公司，都使用了贝叶斯定理（Bayesian principles）为数据搜索提供近似的（但是技术上不确切）结果。研究人员还使用贝叶斯模型来判断症状和疾病之间的相互关系，创建个人机器人，开发能够根据数据和经验来决定行动的人工智能设备。 

朴素贝叶斯

　　分类是将一个未知样本分到几个预先已知类的过程。数据分类问题的解决是一个两步过程：第一步,建立一个模型，描述预先的数据集或概念集。通过分析由属性描述的样本（或实例，对象等）来构造模型。假定每一个样本都有一个预先定义的类，由一个被称为类标签的属性确定。为建立模型而被分析的数据元组形成训练数据集，该步也称作有指导的学习。

　　在众多的分类模型中，应用最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naïve Bayesian Model，NBC）。决策树模型通过构造树来解决分类问题。首先利用训练数据集来构造一棵决策树，一旦树建立起来，它就可为未知样本产生一个分类。在分类问题中使用决策树模型有很多的优点，决策树便于使用，而且高效；根据决策树可以很容易地构造出规则，而规则通常易于解释和理解；决策树可很好地扩展到大型数据库中，同时它的大小独立于数据库的大小；决策树模型的另外一大优点就是可以对有许多属性的数据集构造决策树。决策树模型也有一些缺点，比如处理缺失数据时的困难，过度拟合问题的出现，以及忽略数据集中属性之间的相关性等。

　　和决策树模型相比，朴素贝叶斯模型发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。同时，NBC模型所需估计的参数很少，对缺失数据不太敏感，算法也比较简单。理论上，NBC模型与其他分类方法相比具有最小的误差率。但是实际上并非总是如此，这是因为NBC模型假设属性之间相互独立，这个假设在实际应用中往往是不成立的，这给NBC模型的正确分类带来了一定影响。在属性个数比较多或者属性之间相关性较大时，NBC模型的分类效率比不上决策树模型。而在属性相关性较小时，NBC模型的性能最为良好。

贝叶斯网络技术简介

返回

在日常生活中，人们往往进行常识推理，而这种推理通常是不准确的。例如，你看见一个头发潮湿的人走进来，你可能会认为外面下雨了，那你也许错了；如果你在公园里看到一男一女带着一个小孩，你可能会认为他们是一家人，你可能也犯了错误。在工程中，我们也同样需要进行科学合理的推理。但是，工程实际中的问题一般都比较复杂，而且存在着许多不确定性因素。这就给准确推理带来了很大的困难。很早以前，不确定性推理就是人工智能的一个重要研究领域。尽管许多人工智能领域的研究人员引入其它非概率原理，但是他们也认为在常识推理的基础上构建和使用概率方法也是可能的。为了提高推理的准确性，人们引入了概率理论。最早由Judea Pearl于1988年提出的贝叶斯网络实质(Bayesian Network)上就是一种基于概率的不确定性推理网络。它是用来表示变量集合连接概率的图形模型，提供了一种表示因果信息的方法。当时主要用于处理人工智能中的不确定性信息。随后它逐步成为了处理不确定性信息技术的主流，并且在计算机智能科学、工业控制、医疗诊断等领域的许多智能化系统中得到了重要的应用。

贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家系统等领域。这些成功的应用，充分体现了贝叶斯网络技术是一种强有力的不确定性推理方法。

　

贝叶斯网络基本原理

　

一、贝叶斯网络定理

贝叶斯网络是一种概率网络，它是基于概率推理的图形化网络，而贝叶斯公式则是这个概率网络的基础。让我们先来看一看贝叶斯基本公式：

1. 条件概率

   设、是两个事件，且，称

   

   为在事件发生的条件下事件发生的条件概率。

2. 联合概率

   设、是两个事件，且，它们的联合概率为：

   

3. 全概率公式

   设试验的样本空间为，为的事件，，，…，为E的一组事件，满足：①；②，，…，互不相容；③，。则有全概率公式：

   

4. 贝叶斯公式

根据1、2和3，很容易推得众所周知的贝叶斯公式：

二、贝叶斯网络的拓扑结构

贝叶斯网络是一个具有概率分布的有向弧段（DAG）。它是由节点和有向弧段组成的。节点代表事件或变量，弧段代表节点之间的因果关系或概率关系，而弧段是有向的，不构成回路。

图1所示为一个简单的贝叶斯网络模型。它有5个节点和5个弧段组成。图中没有输入的A1节

点称为根节点，一段弧的起始节点称为其末节点的母节点，而后者称为前者的子节点。

图1 简单的贝叶斯网络模型

贝叶斯网络能够利用简明的图形方式定性地表示事件之间复杂的因果关系或概率关系，在给定某些先验信息后，还可以定量地表示这些关系。网络的拓扑结构通常是根据具体的研究对象和问题来确定的。目前贝叶斯网络的研究热点之一就是如何通过学习自动确定和优化网络的拓扑结构。

三、条件独立性假设

条件独立性假设是贝叶斯网络进行定量推理的理论基础。有了这个假设，就可以减少先验概率的数目，简化计算和推理过程。

贝叶斯网络的条件独立性假设的一个很重要的判据就是著名的分隔定理（d-separation）。我们先来看看这个定理。

设A、B、C为网络节点中三个不同的子集，当且仅当A与C间不存在以下情况的路径时，我们称B隔离了A和C，记为_D：

1. 所有含有聚合弧段的节点或其子节点是B的元素；

2. 其它节点不是B的元素。

同时满足以上两个条件的路径称作激活（active）路径，否则叫作截断（blocked）路径。这个判据指出，如果B隔离了A和C时，那么可以认为A与C是关于B条件独立的，即：

四、先验概率的确定和网络推理算法

有了条件独立性假设就可以大大简化网络推理计算。但是，与其他形式的不确定性推理方法一样，贝叶斯网络推理仍然需要给出许多先验概率，它们是根节点的概率值和所有子节点在其母节点给定下的条件概率值。

这些先验概率，可以是由大量历史的样本数据统计分析得到的，也可由领域专家长期的知识或经验总结主观给出的，或者根据具体情况事先假设给定。

与其它算法一样，贝叶斯网络推理算法大致也可分为精确算法和近似算法两大类。

理论上，所有类型的贝叶斯网络都可以用精确算法来进行概率推理。但Cooper指出，贝叶斯网络中的精确概率推理是一个N－P难题。对于一个特定拓扑结构的网络，其复杂性取决于节点数。所以，精确算法一般用于结构较为简单的单联网络（Single connected）。对于解决一般性的问题，我们不希望它是多项式次复杂。因而，许多情况下都采用近似算法。它可以大大简化计算和推理过程，虽然它不能够提供每个节点的精确概率值。

:模式识别是指对表征事物或现象的各种形式的信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程。它是信息科学和人工智能的重要组成部分，主要应用领域是图像分析与处理、语音识别、声音分类、通信、计算机辅助诊断、数据挖掘等学科。本书在完美地结合当前的理论与实践的基础上，讨论了贝叶斯分类、贝叶斯网络、线性和非线性分类器设计、动态编程和用于顺序数据的隐马尔可夫模型、特征生成、特征选取技术、学习理论的基本概念以及聚类概念与算法。与前一版相比，主要更新了关于支持向量机和聚类算法的内容，重点研究了图像分析、语音识别和声音分类的特征生成。每章末均提供有习题与练习，且支持网站上提供有习题解答，以便于读者增加实际经验。
本书可作为高等院校自动化、计算机、电子和通信等专业研究生和高年级本科生的教材，也可作为计算机信息处理、自动控制等相关领域的工程技术人员的参考用书。