信息熵：H(X) ，概率为Pi的事件包含的信息量。
交叉熵：，使用的分布表示的分布所使用的信息量。
相对熵：,使用的分布表示的概率所多使用的信息量。
关系：信息熵+相对熵=交叉熵
条件熵：，已知事件X发生，Y事件发生包含的信息量。
联合熵：,事件X,Y共同发生包含的信息量。
关系：信息熵+条件熵=联合熵
ps：tfidf可以近似表示为相对熵(有前提条件)。
