2.3 数据变换
2.3.1 数据属性变换
在解决经济问题综合评价时，评价指标通常分为效益型、成本型、适度型等类型。效益型指标值越大越好，成本型指标值越小越好，适度型指标值既不能太大也不能太小为好。
一般来说，对问题进行综合评价，必须统一评价指标的属性，进行指标的无量纲化处理。常见的处理方法有极差变换、线性比例变换、样本标准化变换等方法。
我们将式（2.1.16）表示的样本数据矩阵X的每一列理解为评价指标，共有p个指标，X的每一行理解为不同决策方案关于p项评价指标的指标值，共有n个方案，这样表示第i个方案关于第j项评价指标的指标值为xij(i=1,2,…,n;j=1,2,…,p)。
1.统一趋势与无量纲化
我们用I1、I2、I3分别表示效益型、成本型和适度型指标集合，运用极差变换法建立无量纲的效益型矩阵B与成本型矩阵C,运用线性比例变换法可建立无量纲的效益型矩阵D与成本型矩阵E。
1）效益型矩阵，其变换公式为：
B=(bij)n×p,bij=(xij-min1≤i≤n xij)(max1≤i≤n xij-min1≤i≤n xij)xij∈I1
(max1≤i≤n xij-xij)(max1≤i≤n xij-min1≤i≤n xij)xij∈I2
(max1≤i≤nxij-αj-xij-αj)max1≤i≤nxij-αj-min1≤i≤nxij-αjxij∈I3（2.3.1）
其中αj为第j项指标的适度数值。
显然指标经过极差变换后，均有0≤bij≤1，且各指标下最好结果的属性值bij=1，最坏结果的属性值bij=0。指标变换前后的属性值成线性比例。
2）成本型矩阵，其变换公式为：
C=(cij)n×p,cij=(max1≤i≤n xij-xij)(max1≤i≤n xij-min1≤i≤n xij)xij∈I1
(xij-min1≤i≤nxij)(max1≤i≤n xij-min1≤i≤n xij)xij∈I2
xij-αj-min1≤i≤nxij-αjmax1≤i≤nxij-αj-min1≤i≤nxij-αjxij∈I3（2.3.2）
其中αj为第j项指标的适度数值。
显然指标经过极差变换后，均有0≤cij≤1，且各指标下最坏结果的属性值cij=1，最好结果的属性值cij=0。
3）优属度效益型矩阵，其变换公式为：
D=(dij)n×p，dij=xijmax1≤i≤n xijxij∈I1
min1≤i≤n xijxijxij∈I2
min1≤i≤n xij-αjxij-αjxij∈I3（2.3.3）
其中αj为第j项指标的适度数值。
4）比值成本型矩阵，其变换公式为：
E=(eij)n×p,eij=min1≤i≤n xijxijxij∈I1
xijmax1≤i≤n xijxij∈I2
xij-αjmax1≤i≤nxij-αjxij∈I3（2.3.4）
其中αj为第j项指标的适度数值。显然指标变换前后的属性值成比例。
例2.3.1 表2-8给出了我国1996~2013年农业生产情况统计数据，根据数据建立效益型矩阵B与比值成本型矩阵E。
表2-8 1996~2013年农业生产情况统计数据
年份
粮食产量
(万吨)
受灾面积
(千公顷)
有效灌溉面积
(千公顷)
农用化肥施用折纯量
(万吨)
农村用电量
(亿千瓦小时)
1996
50453.50
46991
50381.60
3827.90
1812.72
1997
49417.10
53427
51238.50
3980.70
1980.10
1998
51229.53
50145
52295.60
4083.69
2042.15
1999
50838.58
49980
53158.41
4124.32
2173.45
2000
46217.52
54688
53820.33
4146.41
2421.30
（续）
年份
粮食产量
(万吨)
受灾面积
(千公顷)
有效灌溉面积
(千公顷)
农用化肥施用折纯量
(万吨)
农村用电量
(亿千瓦小时)
2001
45263.67
52215
54249.39
4253.76
2610.78
2002
45705.75
46946
54354.85
4339.39
2993.40
2003
43069.53
54506
54014.23
4411.56
3432.92
2004
46946.95
37106
54478.42
4636.58
3933.03
2005
48402.19
38818
55029.34
4766.22
4375.70
2006
49804.23
41091
55750.50
4927.69
4895.82
2007
50160.28
48992
56518.34
5107.83
5509.93
2008
52870.92
39990
58471.68
5239.02
5713.15
2009
53082.08
47214
59261.45
5404.35
6104.44
2010
54647.71
37426
60347.70
5561.68
6632.35
2011
57120.85
32471
61681.56
5704.24
7139.62
2012
58957.97
24960
63036.43
5838.85
7508.46
2013
60193.84
31350
63350.60
5911.86
8549.52
资料来源：中华人民共和国国家统计局，http://www.stats.gov.cn/。
解：根据指标的具体含义可知，受灾面积是成本型数据，化肥施用量是适度型数据（取适度数值为4000），其余指标都是效益型数据。编写程序如下。
clear
A=\[50453.50, 46991 ,50381.60, 3827.90, 1812.72;
……
60193.84,31350,63350.60,5911.86,8,549.52\]; %输入原始数据
\[m,n\]=size(A);
%对矩阵A，按列指标的属性，对数据进行变换，建立效益型矩阵B的程序
B1=\[A(:,1)-min(A(:,1)),max(A(:,2))-A(:,2),A(:,3)-min(A(:,3)),max(abs(A(:,4)-4000))- abs(A(:,4)-4000),A(:,5)-min(A(:,5))\];
B2=\[ones(m,1)*range(A)\];
B=B1./\[B2(:,1:3),ones(m,1)*range(max(abs(A(:,4)-4000))- abs(A(:,4)-4000)),B2(:,5)\];
%按A矩阵列指标的属性，对数据进行变换，建立比值成本型矩阵E程序
E1=\[ones(m,1)*min(A(:,\[1,3,5\]))\]./A(:,\[1,3,5\]);
E2=A(:,2)./max(A(:,2));
E3=abs( A(:,4)-4000)./\[max(abs( A(:,4)-4000))\];
E=\[E1(:,1),E2,E1(:,2), E3,E1(:,3)\]
程序运行结果（仅列出了变换后数据的前两行，其余各行省略了）：
B=
0.4312 0.2589 0 0.9193 0
0.3707 0.0424 0.0661 1.0000 0.0248
……
E=
0.8536 0.8593 1.0000 0.0900 1.0000
0.8716 0.9769 0.9833 0.0101 0.9155
……
2.压缩变换模糊化
对于实际数据还可以通过如下变换将原始数据压缩到\[0,1\]区间，从而构造出模糊集合。利用MATLAB的模糊数学工具箱，可以直接调用表2-9中函数命令实现数据压缩模糊转换。
表2-9 模糊工具箱隶属度函数
函数名称
函数表达式
命令格式
数据类型
高斯形函数
y=e-(x-c)22s2
y=gaussmf(x,\[s,c\])适度型
钟形函数
y=11+x-ca2b
y=gbellmf(x,\[a,b,c\])
适度型
S形函数
f(x,a,b)=0,x≤a
2x-ab-a2,a≤x≤a+b2
1-2x-ab-a2,a+b2≤x≤b
1,x≥b
y=smf(x,\[a,b\])
效益型
Z形函数
f(x,a,b)=1,x≤a
1-2x-ab-a2,a≤x≤a+b2
2x-ab-a2,a+b2≤x≤b
0,x≥b
y=zmf(x,\[a,b\])
成本型
sigmoid函数
y=11+e-a(x-c)
y=sigmf(x,\[a,c\])
a>0，效益型
a<0，成本型
例2.3.2 对于例2.3.1的粮食产量数据用S形函数建立高产的隶属度函数。
解：编写程序如下。
clear
A=\[50453.5046991 50381.60 3827.90 1812.72
……
60193.843135063350.605911.868,549.52\]; %输入原始数据
a=min(A(:,1));%设置S形函数的参数a
b=max(A(:,1));%设置S形函数的参数b
y=smf(A(:,1),\[a,b\]);%S形函数命令
subplot(211),plot(A(:,1), '-* '),title('粮食产量数据图')
subplot(212),plot(y, '-or '), title('变换后数据图')
从图2-15可以看出，利用S形函数将粮食产量数据压缩到\[0,1\]区间，产量越高数值越接近1；反之，产量越低函数值越接近于零，两个图形的走势完全一致。
图2-15 粮食产量数据图与S形函数图
2.3.2 Box-Cox变换
当时间序列数据在左（或右）边有长尾巴或很不对称时，有时需要对数据进行变换以符合非参数（或参数）统计推断方法的某些条件，其中最常用的一种方法就是Box-Cox变换
y=(xλ-1)/λ,λ≠0
lnx,λ=0（2.3.5）
在MATLAB中，Box-Cox变换命令boxcox的调用格式为：
\[transdat, lambda\]=boxcox(x)；
其中x是原始数据，transdat是变换以后的数据，lambda是变换公式中参数λ的数值。
例2.3.3 淮河位于中国东部，介于长江与黄河之间，是中国七大河之一。淮河流域地跨湖北、河南、安徽、江苏、山东5省，1952~1991年因水灾造成的流域成灾面积数据见表2-10，应用Box-Cox变换考查数据的正态分布特性。
表2-10 淮河流域成灾面积
（单位：106公倾2）
年份
1952
1953
1954
1955
1956
1957
1958
1959
成灾面积
1.4963
1.3411
4.082
1.2787
4.1549
3.6359
0.9416
0.2083
年份
1960
1961
1962
1963
1964
1965
1966
1967
成灾面积
1.4567
0.8569
2.7197
6.7494
3.6884
2.5395
0.2596
0.2747
年份
1968
1969
1970
1971
1972
1973
1974
1975
成灾面积
0.5398
0.5804
0.7038
0.9679
1.0219
0.5106
1.3253
1.8438
年份
1976
1977
1978
1979
1980
1981
1982
1983
成灾面积
0.4933
0.3437
0.2856
2.5296
1.6594
0.1615
3.208
1.4698
年份
1984
1985
1986
1987
1988
1989
1990
1991
成灾面积
2.938
1.9233
0.7498
0.7933
0.1276
1.4853
1.386
4.6226
数据来源：自然灾害学报，2005,6。
解：考查正态分布特性，可检验数据是否服从正态分布或考查经验分布函数与正态分布函数的差异。将淮河流域1951~1991年的成灾面积数据作为矩阵X输入，程序如下。
%绘制Q-Q图
clear
X=\[data\]; %输入原始成灾面积数据data
\[b,t\]=boxcox(X');%对数据作Box-Cox变换
normplot(X)%原始数据的Q-Q图
figure(2);normplot(b)%变换数据的Q-Q图
%变换前后数据的经验分布函数图及相应的统计量
sa=sort(X);%原始数据次序统计量
sb=sort(b);%变换数据次序统计量
figure(3);cdfplot(X);%原始数据经验分布
hold on;
plot(sa,normcdf(sa),'-r')%正态分布函数
figure(4);cdfplot(b);%变换数据经验分布
hold on;
plot(sb,normcdf(sb),'-r')%变换数据经验分布与正态分布函数
作出图形如图2-16、图2-17所示，可以看出原始数据与正态分布函数相差甚远，变换后的数据则比较接近。
从图2-16、图2-17可以看出原始数据没有分布在直线上，而变换后的数据基本上落在直线上，因此可认为原始数据不服从正态分布，而变换后的数据服从正态分布。
从经验分布图2-18、图2-19可以看出：原始数据不服从正态分布，而变换数据近似服从正态分布。
图2-16 成灾面积原始数据Q-Q图
图2-17 成灾面积Box-Cox变换数据Q-Q图
图2-18 原始数据经验分布图
图2-19 变换数据经验分布图
2.3.3 基于数据变换的综合评价模型
例2.3.4 为了全面了解10家上市银行的绩效，用X1表示每股净收益，X2表示总资产利润率，X3表示净资产收益率，X4表示净利润增长率，X5表示净资产增长率，X6表示总资产增长率。这些指标的统计数据如表2-11所示，试对上市银行进行综合评价。
表2-11 10家上市银行的统计数据
公司名称
X1
X2
X3
X4
X5
X6
工商银行
0.21
0.33
4.01
0.60
15.59
6.95
农业银行
0.16
0.30
4.33
0.46
12.22
9.37
建设银行
0.27
0.35
4.53
1.14
14.74
9.54
中国银行
0.15
0.29
3.46
1.81
10.29
6.37
交通银行
0.26
0.26
3.44
0.93
13.00
11.73
招商银行
0.73
0.34
4.84
6.45
14.43
10.66
华夏银行
0.41
0.21
3.12
7.36
34.70
15.01
平安银行
0.43
0.23
3.24
8.12
37.21
16.33
兴业银行
0.82
0.29
4.76
6.05
20.73
21.22
浦发银行
0.70
0.27
4.18
24.10
20.65
22.86
数据来源：各银行2016年3月31日财务报告。
解：设原始数据矩阵为
X=x11x12…x1p
x21x22…x2p
xn1xn2…xnp (n=10,p=6)
1）利用变异系数法建立权向量
wj=vj/∑6j=1vj
其中vj=sj/xj，sj与xj分别为第j项指标的标准差和均值。
2）建立理想方案
u=u01,u02,…,u06
其中u0j=max1≤i≤10{xij}（j=1,2,…,6）。
3）建立相对偏差模糊矩阵R
R=r11r12…r1p
x21x22…r2p
rn1rn2…rnp (n=10,p=6)， 其中rij=xij-u0jmax1≤i≤10{xij}-min1≤i≤10{xij}
4）建立综合评价模型
Di=∑6j=1rijwj (i=1,2,…,10)
评价准则为：若Di<Dj，则第i家上市公司的业绩优于第j家上市公司的业绩。
MATLAB程序如下：
clear
X=\[0.21,0.33,4.01,0.60,15.59,6.95;
0.16,0.30,4.33,0.46,12.22,9.37;
0.27,0.35,4.53,1.14,14.74,9.54;
0.15,0.29,3.46,1.81,10.29,6.37;
0.26,0.26,3.44,0.93,13.00,11.73;
0.73,0.34,4.84,6.45,14.43,10.66;
0.41,0.21,3.12,7.36,34.70,15.01;
0.43,0.23,3.24,8.12,37.21,16.33;
0.82,0.29,4.76,6.05,20.73,21.22;
0.70,0.27,4.18,24.10,20.65,22.86\]; %输入原始数据
m=mean(X);%计算各指标均值
s=std(X);%计算各指标标准差
v=s./abs(m);%计算各指标变异系数
w=v/sum(v);%计算各指标权重
R=abs(X-ones(10,1)*max(X))./\[ones(10,1)*range(X)\];%相对偏差矩阵
D=R*w';%计算综合评价值
\[F1,t1\]=sort(D);%综合评价值排序
\[F2,t2\]=sort(t1)%t2为输出上市公司的排名
程序运行结果：
D1=0.8735,D2=0.8908,D3=0.8066,D4=0.9373,D5=0.8702,
D6=0.5683,D7=0.5906,D8=0.5350,D9=0.4426,D10=0.1803
根据评价准则可得各公司排名见表2-12。
表2-12 10家上市银行的综合排名
银行
工商
农业
建设
中国
交通
招商
华夏
平安
兴业
浦发
排名
8
9
6
10
7
4
5
3
2
1
说明：如果采取不同的方法建立权向量，或者根据不同的方法得到相对优属度矩阵，评价的结果会有所不同。
习 题 2
1.已知样本数据为
1，3，4，2，9，6，7，8，11，2.5，3，10
1）求该数据的中位数；2）该数据的次序统计量；3）写出上述计算的MATLAB实现程序。
2.设数据(x1,x2,…,xn)，用MATLAB编写3种不同程序，均能实现计算∑ni=1(xi-x)2。
3.设矩阵A表示某球队参加5场比赛的技术统计数据
A=a1a2,…,a6=a11a12…a16
a21a22…a26
a51a52…a56
其中a1表示投篮命中率，a2表示罚球命中率，a3表示后场篮板球，a4表示失误次数，a5表示抢断次数，a6表示盖帽次数。1）指标ai中哪些是效益型指标，哪些是成本型指标，写出统一趋势化的计算公式。2）写出MATLAB中的计算程序。
4.利用MATLAB软件生成均值向量为(3,2)、协方差矩阵为11.5
1.54的二元正态分布的随机数，并给出作散点图以及密度函数曲面图的程序。
5.考查鸢尾属植物中两个不同品种的花的如下四个形状指标：X1为萼片长度；X2为萼片宽度；X3为花瓣长度；X4为花瓣宽度；从这两个品种（记为1、2）中各选取50株，测得上述指标的取值见表2-13，求解以下问题：1)计算各指标的均值、方差、标准差、变异系数以及相关系数矩阵；2)计算各指标的偏度、峰度、三均值以及极差；3)作出各指标数据直方图并检验该数据是否服从正态分布；4）检验两个品种是否来自正态总体。
表2-13 鸢尾属植物两个不同品种的花的形状数据
编号
品种
x1
x2
x3
x4编号
品种
x1
x2
x3
x4
1165284615
2162224515
3159324818
4161304614
5160275116
6156253911
7157284513
8163334716
9170324714
10164324515
11161284013
12155243811
13154304515
14158264012
15155264412
16150233310
17167314414
18156304515
19158274110
20160294515
21157263510
22157194213
23149243310
24156274213
25157304212
26166294613
27152273914
28160344516
29150203510
30155243710
（续）
编号
品种
x1
x2
x3
x4编号
品种
x1
x2
x3
x4
31158273912
32162294313
33159304215
34160224010
35167314715
36163234413
37156304113
38163254915
39161284712
40164294313
41151253011
42157284113
43161294714
44156293613
45169314915
46155254013
47155234013
48166304414
49168284814
50167305017
51264285622
52267315624
53263285115
54269315123
55265305220
56265305518
57258275119
58268325923
59262345423
60277386722
61267335725
62276306621
63249254517
64267305223
65259305118
66263255019
67264325323
68279386420
69267335721
70277286720
71263274918
72272326018
73261304918
74261265614
75264285621
76262284818
77277306123
78263345624
79258275119
80272305816
81271305921
82264315518
83260304818
84263295618
85277266923
86260225015
87269325723
88274286119
89256284920
90273296318
91267255818
92265305822
93269315421
94272366125
95265325120
96264275319
97268305521
98257255020
99258285124
100263336025
数据来源：梅长林,范金城，数据分析方法，高等教育出版社。
6.利用压缩变换对蠓虫分类问题建立模糊集合，并作出相应图形进行分析。
实验1 数据统计量及其分布检验
实验目的
1.熟练掌握利用MATLAB软件计算均值、方差、协方差、相关系数、标准差与变异系数、偏度与峰度、中位数、分位数、三均值、四分位极差与极差。
2.熟练掌握jbtest与lillietest关于一维数据的正态性检验。
3.掌握统计作图方法。
4.掌握多维数据的数字特征与相关矩阵的处理方法。
实验数据与内容
实验一
1949年到1990年，我国洪涝灾害统计数据如表2-14所列，解决以下问题：1）计算各项指标的平均值、标准差、变异系数、三均值、偏度与峰度；2）各项指标是否服从正态分布？若服从正态分布，计算概率为1%时的受灾面积、受灾人口及直接经济损失；若不服从正态分布，利用Box-Cox变换将数据进行变换，对变换后的数据进行相应的分析。
表2-14 我国洪涝灾害统计数据
年份
受灾面积
受灾人口
直接经济损失
1949928.22006190300
1950656192812028.87
195141760112614.71
1952279.4105923339.56
195374181210897.38
195416133937209300
195552540713061.56
195614382576326801.7
1957808.2787045708.41
1958428113214692
195948184525746
1960101668258179.59
1961887186726172.85
1962981150153865.8
196314072757629755.2
19641493156131458.73
196555968323751.14
1966251107968286.03
1967170.8957514286.03
1968224.343728232.32
1969463.18125223293.55
197031330517424.71
(续)
年份
受灾面积
受灾人口
直接经济损失
197139961815312.09
1972408160821804
1973624174614378.77
1974640198835974.6
197568212081000000
1976420258926163.63
1977910187260604.77
1978285213026155.93
1979676219154798.1
1980915410690339.39
19818624560335319.3
19828364499120239.5
198312165294221760.3
19841069nan1530
19851419.731294470282
1986915.53321703600
1987868.62105246253.3
19881194.933522803387.8
19891132.8nan233000
19901180.476111591968
注：表中nan表示数据缺失。
实验二
登录“国家外汇管理局”网站（http://www.safe.gov.cn/），在主页面“统计数据”栏查找“人民币汇率中间价”统计表，下载“2016年1月1日～2016年7月20日人民币每日汇率中间价数据”，分析人民币对美元、欧元、日元、英镑汇率的数据分布特征。
相关资源：七夕情人节表白HTML源码(两款)
