机器学习算法之朴素贝叶斯分类

   基于概率论的分类算法：朴素贝叶斯  

1、核心思想：选择高概率对应的类别

 如下图：

 两类数据分布如下，用p1(x，y)表示数据点（x，y）属于类别1（图中圆点表示的类别）的概率，用p2(x，y)表示数据点（x，y）

 属于类别2（图中三角形点表示的类别）的概率，那么对于一个新数据点（x，y），可以用下面的规则来判断他的类别：

  1）如果p1(x，y) > p2(x，y)，那么类别为1

  2）如果p2(x，y) > p1(x，y)，那么类别为2

 也就是，我们会选择高概率对应的类别，这就是贝叶斯理论的核心思想

   

2、算法原理

 贝叶斯条件概率准则（计算条件概率的方法）  已知条件p(X|C)，得到p(C|X)的条件概率，条件概率基本概念读者执行补读下

 使用贝叶斯条件概率准则（条件概率）分类    

3、实例

 以留言板分类为例，分类一个留言板是否友好，

 找出单词的概率， 认为这些单词出现的概率是独立的(实际上并不是很准确，有些单词可能有相互依赖，但不影响算法)，即独立

 的特征概率，朴素贝叶斯的朴素来源这个，把特征简单认为相互独立的。

 具体算法：  W为词向量，Ci为类别I。 p（Ci|w）是词向量W的类别I的概率。本章是类别两种类型，那么p（C1|w） > p（C2|w）分类为1类型，

 否则分类为2类型。

 训练算法：

  条件概率换算（上述公式），计算p（W|Ci）和P（Ci）即可，

 P（Ci）的概率 = 训练数据集中的i类型总数 / 训练集的总数

 p（W|Ci）按词展开p（W0, W1, W2, …Wn | Ci）因为假设这些单词相互独立的，那可以使用

 p（W0 | Ci）* p（W1| Ci）* p（W2| Ci）…p（Wn| Ci）来计算，这样就很好计算，p（W0 | Ci）就是W0单词再i类型文章

 中出现的概率

 测试算法：   计算出上述p（W|Ci）和P（Ci）后，目标词向量Wx的概率= p（Wx|Ci）* P（Ci）， 然后p（Wx|C1）> p（Wx|C2）

 分类为1类型，否则2类型

   

4、代码

 上述留言板为例，创建一个bayes.py文件，下面所有code部分拷贝进去。下面一一来看代码。  

 4.1准备工作

 设留言数据保存在postingList数组里，每一行为一个留言文章，loadDataSet为获取数据的函数（包括数据及对应的类别）

def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] classVec = [0,1,0,1,0,1] #1 is abusive, 0 not return postingList,classVec

 创建一个词典向量，即文章中出现的不重复的所有单词的列表

def createVocabList(dataSet): vocabSet = set([]) #create empty set for document in dataSet: vocabSet = vocabSet | set(document) #union of the two sets return list(vocabSet)

  把一个文章（文本）转化为向量

def setOfWords2Vec(vocabList, inputSet): returnVec = [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] = 1 else: print ("the word: %s is not in my Vocabulary!" % word) return returnVec

 上面三个部分作为数据准备工作，读数据、生成词典向量，词向量。运行下效果：

import bayes 读取数据列表和类别

listOfPosts,listClasses = bayes.loadDataSet() 生成一个词典向量，包含文中出现的所有单词组成

myVocablist = bayes.createVocabList(listOfPosts) myVocablist [‘has’, ‘my’, ‘is’, ‘please’, ‘cute’, ‘posting’, ‘ate’, ‘licks’, ‘problems’, ‘park’, ‘him’, ‘so’, ‘dalmation’, ‘garbage’, ‘dog’, ‘not’, ‘buying’, ‘take’, ‘flea’, ‘mr’, ‘to’, ‘food’, ‘quit’, ‘worthless’, ‘I’, ‘maybe’, ‘stop’, ‘stupid’, ‘steak’, ‘love’, ‘help’, ‘how’] 再看把一个文章转化词向量，postingList的第一行[‘my’, ‘dog’, ‘has’, ‘flea’, ‘problems’, ‘help’, ‘please’]对应的词向量

bayes.setOfWords2Vec(myVocablist, listOfPosts[0]) [1, 1, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0]      

 4.2训练算法

 朴素贝叶斯分类器训练函数

def trainNB0(trainMatrix,trainCategory): numTrainDocs = len(trainMatrix) numWords = len(trainMatrix[0]) pAbusive = sum(trainCategory)/float(numTrainDocs) #print(sum(trainCategory), numTrainDocs) p0Num = ones(numWords); p1Num = ones(numWords) #change to ones() p0Denom = 2.0; p1Denom = 2.0 #change to 2.0 for i in range(numTrainDocs): if trainCategory[i] == 1: p1Num += trainMatrix[i] p1Denom += sum(trainMatrix[i]) else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) p1Vect = log(p1Num/p1Denom) #change to log() 因为p（W0 | Ci）* p（W1| Ci）* p（W2| Ci）的有的项很小甚至0，相城后容易溢出或0，所以增加log，这样相乘计算变成相加计算 p0Vect = log(p0Num/p0Denom) #change to log() return p0Vect,p1Vect,pAbusive

 开始训练，

 生成训练向量集

trainMat = [] for postinDoc in listOfPosts: … trainMat.append(bayes.setOfWords2Vec(myVocablist, postinDoc)) …

 此函数得到单词在类别1和2中的出现概率

p0V,p1V,pAb = bayes.trainNB0(trainMat, listClasses)

   

 4.3测试算法

 得到每个单词在分贝两个类别中的概率，下面就可以预测实际用例了。

def testingNB(): listOPosts,listClasses = loadDataSet() myVocabList = createVocabList(listOPosts) trainMat=[] for postinDoc in listOPosts: trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses)) testEntry = ['love', 'my', 'dalmation'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)) testEntry = ['stupid', 'garbage'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)) testEntry = ['aaa', 'garbage'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print (testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb))

 运行结果

bayes.testingNB() [‘love’, ‘my’, ‘dalmation’] classified as: 0 [‘stupid’, ‘garbage’] classified as: 1 the word: aaa is not in my Vocabulary! [‘aaa’, ‘garbage’] classified as: 1