8.2.2 一元线性回归模型参数的最小二乘估计
来自高中数学
知识点
- 最小二乘估计
$\begin{cases}\hat{b}=\dfrac{\displaystyle\sum_{i=1}^n(x_i-\overline{a})(y_i-\overline{y})}{\displaystyle\sum_{i=1}^n(x_i-\overline{a})^2},\\\hat{a}=\overline{y}-b\overline{x}.\end{cases}$
我们将$\hat{y}=\hat{b}x+\hat{a}$称为$Y$关于$x$的经验回归方程，也称经验回归函数或经验回归公式，其图形称为经验回归直线. 这种求经验回归方程的方法叫做最小二乘法，求得的$\hat{b},\hat{a}$叫做$b,a$的最小二乘估计.
- 残差
对于响应变量$Y$，通过观察得到的数据称为观测值，通过经验回归方程得到的$\hat{y}$称为预测值，观测值减去预测值称为残差.
$R^2=1-\dfrac{\displaystyle\sum_{i=1}^n(y_i-\hat{y}_i)^2}{\displaystyle\sum_{i=1}^n(y_i-\overline{y}_i)^2}$
决定系数$R^2$越大，表示残差平方和越小，即模型的拟合效果越好；$R^2$越小，表示残差平方和越大，即模型的拟合效果越差.
