简单回归模型（二）：OLS最小二乘法

简单回归模型（二）

拟合优度

已知：$y_i={\hat{y}}_i+{\hat{u}}_i$,可以把OLS分成拟合值和残差两个部分，在样本中，拟合值和残差是不相关的。定义总平方和（SST）、解释平方和（SSE），和**残差平方和（SSR）**如下：

$$SST=\sum _{i=1}^n(y_i-\bar{y}{)}^2$$

$$SSR=\sum _{i=1}^n({\hat{y}}_i-\bar{y}{)}^2$$

$$SSR=\sum _{i=1}^n{u}_i^2=\sum _{i-1}^n(y_i-\bar{y}{)}^2$$

容易证得：$SST=SSE+SSR$

假定总平方和SST不为零，我们可以通过将方程两边同时除以SST得到$1=SSE/SST+SSR/SST$。回归的$R^2$有时又被称为判定系数，是被解释波动与总波动之比，被定义为：

$$R^2=SSE/SST=1-SSR/SST$$

根据该方程，$R^2$的值总是介于0和1之间。若所有数据点都落在同一条直线上，此时$R^2=1$;同理，一个接近于零的$R^2$给出了一个糟糕的拟合，因为$y_i$的波动极少能被$\bar{y}$所解释（后者全部落在OLS回归线上）。另外，可以证明$R^2$等于$y_i$和$x_i$样本相关系数的平方：

$$R^2=\frac{{\sum }_{i=1}^n{\hat{y}}_i^2}{{\sum }_{i=1}^n{y}_i^2}=\frac{{\hat{\beta }}_1^2{\sum }_{i=1}^n{x}_i^2}{{\sum }_{i=1}^n{y}_i^2}=\cdots =r^2$$

(太麻烦了不写了)

注意：$R^2$不能作为评价计量分析成功与否的主要准则！

度量单位与函数形式

当自变量和因变量的单位发生变化时，OLS的估计值也会发生变化。一般的自变量被除以或乘以一个非零的常数c时，OLS的斜率和截距也会分别被乘以或除以c，但判定系数$R^2$不会因y或x的单位变化而变化。

我们也可以把许多非线性因素引入到简单回归分析之中，例如：对于一个变量为非线性形式的模型：$Y={\beta }_0{X}_1^{\beta }$,我们可以通过一定的函数变换得到一个新的模型，如$lnY=ln{\beta }_0+{\beta }_{1}lnX$,令W=lnYW=lnY