正则化：将每个样本缩放到单位范数(每个样本的范数为1)，如果后面要使用如二次型（点积）或者其他核函数方法计算两个样本之间的相似性，这个方法会很有用。 Normalization主要思想是对每个样本计算其p-范数，然后对该样本中每个元素除以该范数，这样处理的结果是是的每个处理后样本的p-范数（L1-norm, L2-norm）等于1。 p-范数的计算公式：||x||p=(|x1|^p+|x2|^p+…+|xn|^p)^(1/p) 该方法主要应用在文本分类和聚类中。例如，对于两个TF-IDF向量的I2-norm进行点积，就可以得到这两个向量的余弦相似性。
1.可以使用preprocessing.normalize()函数对指定数据进行转换。
X= [[ 1., -1., 2.], [ 2., 0., 0.], [ 0., 1., -1.]] X_normalized = preprocessing.normalize(X, norm='l2') X_normalized array([[ 0.40..., -0.40..., 0.81...], [ 1. ..., 0. ..., 0. ...], [ 0. ..., 0.70..., -0.70...]])12345678
怎么算出来的呢？
按行算： [1,-1,2]的L2范数是(1^2+(-1)^2+2^2)^(1/2)=6^(1/2)=2.45 第一行的每个元素除以L2范数，得到： [1/2.45, -1/2.45, 2/2.45] = [0.4, -0.4, 0.8..] 第二行和第一行一样，也是算自己的L2范数：(2^2+0^2+0^2)^(1/2)=2, [ 2/2, 0/2, 0/2]=[1,0,0]……123456
2.可以使用processing.Normalizer()类实现对训练集合测试集的拟合与转换：
normalizer = preprocessing.Normalizer().fit(X) # fit does nothing >>>normalizer Normalizer(copy=True, norm='l2')
>>>normalizer.transform(X) array([[ 0.40..., -0.40..., 0.81...], [ 1. ..., 0. ..., 0. ...], [ 0. ..., 0.70..., -0.70...]])
>>> normalizer.transform([[-1., 1., 0.]]) array([[-0.70..., 0.70..., 0. ...]])
