李宏毅机器学习-task4

 

参考：https://note.youdao.com/ynoteshare1/index.html?id=47ee5998b8abe6e51f3a587ba547bbdf&type=note

 

从基础概率推导贝叶斯公式，朴素贝叶斯公式(1)

还在研究

 

学习先验概率与 学习后验概率

参考：https://zhuanlan.zhihu.com/p/26464206

为了很好的说明这个问题，在这里举一个例子：

玩英雄联盟占到中国总人口的60%，不玩英雄联盟的人数占到40%：

为了便于数学叙述，这里我们用变量X来表示取值情况，根据概率的定义以及加法原则，我们可以写出如下表达式：

P(X=玩lol)=0.6；P(X=不玩lol)=0.4，这个概率是统计得到的，即X的概率分布已知，我们称其为先验概率(prior probability)；

另外玩lol中80%是男性，20%是小姐姐,不玩lol中20%是男性，80%是小姐姐,这里我用离散变量Y表示性别取值，同时写出相应的条件概率分布：

 

P(Y=男性|X=玩lol)=0.8，P(Y=小姐姐|X=玩lol)=0.2

P(Y=男性|X=不玩lol)=0.2，P(Y=小姐姐|X=不玩lol)=0.8

那么我想问在已知玩家为男性的情况下，他是lol玩家的概率是多少：

依据贝叶斯准则可得：

P(X=玩lol|Y=男性)=P(Y=男性|X=玩lol)*P(X=玩lol)/

[ P(Y=男性|X=玩lol)*P(X=玩lol)+P(Y=男性|X=不玩lol)*P(X=不玩lol)]

 

最后算出的P(X=玩lol|Y=男性)称之为X的后验概率，即它获得是在观察到事件Y发生后得到的

 

学习LR和linear regreeesion之间的区别(4)

逻辑回归和线性回归都是广义的线性回归线性模型的优化目标函数是最小二乘，而逻辑回归则是似然函数线性回归的输出是实域上连续值，LR的输出值被S型函数映射到[0,1]，通过设置阀值转换成分类类别liner regression期望拟合训练数据,通过feature的线性加权来预测结果; logistic regression是在训练一个最大似然分类器。

推导sigmoid function公式(5)