贝叶斯公式

在传统机器学习中，贝叶斯公式得到了大量的应用，相较于统计学中的贝叶斯公式，机器学习中的贝叶斯公式有着自己的解释方法，其中的先验事件是模型的参数。

贝叶斯公式

首先给出贝叶斯公式的定义

其中为机器学习的模型参数，为样本，通过和概率论中的概念进行对比，可以给出下面概念

其中:

• posterier-：后验概率，在样本为的情况下，模型参数为的概率
• likehodd-：似然概率，通过参数为的模型得到的概率
• prior-：先验概率，一般是根据人的先验知识给出的概率，例如掷硬币的概率为0.5
• evidence-：样本X的概率

极大似然估计(MLE)

极大似然估计即认为当前发生的事件是概率最大的事件，因此对于给定数据集，求使得改数据集概率最大的参数，似然函数如下

通常会对两边同时取对数方便计算

极大似然估计仅考虑似然概率，不考虑先验概率，在逻辑回归中有应用。

最大后验估计(MAP)

最大后验估计引入了先验概率，先验分布属于贝叶斯学派引入，即贝叶斯公式，估计的目标函数为

考虑到不影响估计函数，因此可以忽略点分母，并取对数，即

参考资料

https://www.cnblogs.com/jiangxinyang/p/9378535.html