lda 小说分析

    xiaoxiao2022-07-06  191

    re包=》正则匹配包=》匹配字符 =》https://www.cnblogs.com/helloczh/articles/1648029.html

    CountVectorizer是通过fit_transform函数将文本中的词语转换为词频矩阵=》https://blog.csdn.net/weixin_38278334/article/details/82320307

     

    argsort函数 argsort函数返回的是数组值从小到大的索引值

    >>> x = np.array([3, 1, 2]) >>> np.argsort(x) array([1, 2, 0])

     

    a[::-1]相当于 a[-1:-len(a)-1:-1],也就是从最后一个元素到第一个元素复制一遍,即倒序=》https://blog.csdn.net/u011010840/article/details/78861463

    x="62425" print(x[-1:-4:-1])   => 524

     

     

    正则表达式:()代表分组    \w 字母数字下划线   

    ()=》https://www.cnblogs.com/pigwan7/p/7813757.htm

    [...]用来表示一组字符,单独列出:[amk] 匹配 'a','m'或'k'

    $=>匹配字符串的末尾。

    ^[\u4E00-\u9FA5]+$=>这是专门用于匹配简体中文的正则表达式, 实际上繁体字也在里面, 我用测试器测试了下’中華人民共和國’, 也通过了

     

     

    DictVectorizer =》https://vinking934296.iteye.com/blog/2320403

    分类变量特征提取

    分类数据的独热编码方法,分类变量特征提取(One-of-K or One-Hot Encoding):通过二进制数来表示每个解释变量的特征

    例子:假设city变量有三个值:New York, San Francisco, Chapel Hill。独热编码方式就是用三位二进制数,每一位表示一个城市。

    from sklearn.feature_extraction import DictVectorizer onehot_encoder = DictVectorizer() instances = [{'city':'New York','y':'New York'},{'city':'San Francisco'},{'city':'New York', 'Beth': '9102'},{'city1': 'Chapel Hill'}] print (onehot_encoder.fit_transform(instances)) (0, 2) 1.0 (0, 4) 1.0 (1, 3) 1.0 (2, 0) 1.0 (2, 2) 1.0 (3, 1) 1.0

    #第一行是字 典下标=》转为数组后的行    后面是value=》转为数组后的列  不同键值个数即为列数 =》用1填充数组

    五个不同的键值编号  完了以后对应入矩阵

    onehot_encoder.fit_transform(instances).toarray() array([[0., 0., 1., 0., 1.], [0., 0., 0., 1., 0.], [1., 0., 1., 0., 0.], [0., 1., 0., 0., 0.]])

     

     

     

     

     

     

     

     

    最新回复(0)