发布时间 : 星期六 文章关于多元线性回归的毕业论文更新完毕开始阅读
河北工程大学本科毕业设计（论文）
2 多元线性回归分析基础
2.1多元线性回归定义
在客观世界中普遍存在着变量之间的关系。变量之间的关系一般来说可分为确定性的与非确定性的两种。确定性关系是指变量之间的关系可以用函数关系来表达的。另一种非确定性的即所谓的相关关系。例如人的身高与体重之间存在着关系，一般来说，人高一些，体重也要重一些，但同样高度的人，体重往往不相同。人的血压与年龄之间也存在着关系，但同年龄的人的血压往往不相同。气象中的温度与湿度之间的关系也是这样的。这是因为我们涉及的变量（如体重、血压、适度）是随机变量，上面所说的变量关系是非确定性的。此时 ，便可以用到回归分析。回归分析能帮助我们从一个变量取得的值去估计另一个变量所取的值。
在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。
在研究问题是，我们考虑一个变量受其他变量的影响时，把这变量称为因变量，记为Y，其他变量称为自变量，记为X，这时相关系数可记作
Y?f?x???, 其中f?x?为当X?x时，因变量Y的均值，即
f?x??E?Y|X?x?.
称f?x?为Y对X的回归函数，?为Y与f?x?的偏差，它是随机变量，并假定E????0。 回归函数可以是一元函数，也可以是多元函数，即
Y?f(x1,x2,?,xm)??,
其中 f(x1,x2,?,xm)?E(Y|X1?x1,X2?x2,?,Xm?xm)为m元回归函数，统称为多元回归函数。
2.2多元线性回归模型
2.2.1 模型的建立及矩阵表示 多元线性回归模型的一般形式是： Y??0??1Z1??2Z
2??Z33??Z4??Z5 ?5 ? 4 (2.1)
j?1,2,...,k）其中?（是回归系数，Y是被解释变量，z1i,z2i?，zki是k个对Y有显j著影响的解释变量（k?2），?i是 反映各种误差扰动综合影响的随机项，下标i表示第i期观察值（Yi,z1i,z2i?,zki）, i?1,2,?n。
???假设多元样本回归函数为：Yi??0??1z1i??2z2i???kzki回归残差为：?i?Yi?Yi。
5
??? 河北工程大学本科毕业设计（论文）
由于有n期的观察值，这一模型实际上包含n个方程
Y1??0??1z11??1z11????kzk1??1
Y2??0??1z12??2z22????kzk2??2
?? Y2??0??1z1n??2z2n????kzkn??n
写成矩阵形式：
Y?Z???, (2.2) 其中
?Y1??1 z11 z21 ?zk1????Y2??1 z12 z22 ?zk2Y???,Z???? ? ? ?????1 z z ? z?Y?1n2nkn??n????? , ????????0???0???0???????????1???1???1?????, ?? ,????.
?? ? ?????? ????????????k??n?????k?
2.2.2 模型的假设
因为多元线性模型的建立或选择过程包含相当的主观性，所依据的理论和经验也可能不正确，因此并不能保证模型符合变量的实际关系。而如果模型本身有问题，那么分析的有效性和价值就很难有保证，为了保证所分析的变量关系符合多元线性回归分析的基本规定性，明确分析对象，保证回归分析的有效性和性质，也为了检验判断的依据，需要对多元线性回归模型作一些架设，共包括下列六条：
(1)变量Yi和X1i,X2i?,Xki,(i=1,2...n)之间，存在线性随机函数关系(2)对应每组观测数据的误差项?i，都为零均值的随机变量，即?i的数学期望(3)误差项?i的方差为常数，即Var(?i)?E??i?E(?i)??E(?i)??2 对i=1,2...n 都
22Yi??0??1X1i??2X2i????kXki??i，其中?i是随机误差项。
E(?i)=0对i=1,2...n都成立。 成立（假设（2）成立为前提）。
（4）对应不同观测数据的误差项不相关，即
Cov(?i,?j)?E(?i?E(?i))(?j?E(?j))?E(?i???j?0)对任意的 i?j都成立（假设（1）
成立为前提）。
6
河北工程大学本科毕业设计（论文）
（5）解释变量Xi(i?1,?,r)是确定性变量而非随机变量。当存在多个解释变量（r>1）时假设不同解释变量之间不存在线性关系，包括严格的线性关系和强的近似线性关系。 （6）误差项?i服从正态分布[7]。
2.3 多元线性回归参数估计
2.3.1 最小二乘估计和正规方程组
这里直接根据回归残差平方和最小的准则，推导多元线性回归模型参数的最小二乘估计量。对于多元线性回归模型Y??0??1z1????kzk??，
Y?b0?b1z1???bkzk回归残差平方和为：
?如果用b0，?，bk分别表示模型参数?0，?,?k的估计，那么样本回归方程就是
V???i2i??[Yii-(b0?b1z1i???bkzki)]2 (2.3)
当V对b0，?，bk的一阶偏导数都等于0，即下列方程组： ?2[Yi-(b0?b1z1i???bkzki)](-1)?0,
?2[Yi-(b0?b1z1i???bkzki)](-z1i)?0，
ii??
?2[Yi-(b0?b1z1i???bkzki)](-zki)?0，
同时成立时,V有最小值。对这个方程组整理，可得到如下的正规方程组：
b0?Y -(b1z1???bkzk) ,
S11b1?S12b2???S1KbK?S10,
i?
SK1b1?SK2b2???SKKbK?SK10,
其中
Sk0??(ziki-zk) (Yi-Y),k,i?1,?K，
Skj???
?(ziki-zk) (zji-zj),k,j?1,?K.
bk上述正规方程组有K+1个方程，未知数也是K+1个。只要系数矩阵非奇异即满足 的唯一的一组解，就是?0，?，?k的最小二乘估计[8]。
解释变量矩阵Z列满秩：R(Z)?k。此时，有R(Z'Z)?k，Z'Z可逆。可以解出b0，?，
2.3.2 最小二乘估计的矩阵形式
引进参数估计量，解释变量回归值和回归残差的下列向量表示：
7
河北工程大学本科毕业设计（论文）
?b0?b1?B?
????bK????Y??1?1??????，??? Y????，? ??. (2.4)
????????Y?n??n??把样本数据分别带入样本回归方程，得到回归方程组为：
Y1?b0?b1z11???bkzk1, (2.5)
? ?
Yn?b0?b1z1n???bkzkn??
写成等价的向量方程，则为：Y?ZB.
这样回归残差向量为：??Y-Y?Y-XB.
在利用向量，矩阵的运算法则，可以得到残差平方和为
V????i2????(Y?XB)(Y?XB)=YY-BXY-YXB?BXXB.
''''''''求V对b0，?，bk的偏导数，等价于V对向量B求梯度，因此最小二乘估计的正规方程
??V???b??0?组为：?BV??????2Z'?2Z'ZB?0,整理得到矩阵 形式：Z'ZB?ZY.
???V?????bn??当X?X可逆，也就是X是满秩矩阵，在上述向量方程两端左乘X?X的逆矩阵，得到：
B?(ZZ)ZY, (2.6)
'-1'这就是多元线性回归模型最小二乘估计的矩阵一般形式。
2.3.3 最小二乘估计量的性质
(1)线性性：
多元线性回归模型参数的最小二乘估计向量为：B?(Z'Z)-1Z'Y，各个参数的最小二乘估计向量为bk??(z'z)-1z'?????k?1Y，其中的?(z'z)-1z'?????k?1是矩阵(z'z)-1z'的k+1
行元素构成的行向量，上式对k=1，?，K都成立，bk正是被解释变量观测值Yi的线性组合，也就是多元线性回归参数的最小二乘估计是线性估计。
(2)无偏性：
多元线性回归的最小二乘估计也是无偏估计，即参数最小二乘估计量的数学期望都
等于相应参数的真实值，最小二乘估计向量的数学期望等于参数真实值的向量，参数真
8