超定方程和最小二乘法

其中，X是数据矩阵，每一行是一个数据点，每一列是一个自变量（包括截距项），Y是观测值向量，β是待求的系数向量。为了找到使S最小的a和b的值，我们需要对S求关于a和b的偏导数，并令它们等于零。最小二乘法的数学公式通常用于线性回归问题，其中目标是找到一条直线（或更高维度的超平面），使得这条直线与给定数据点的误差平方和最小。同样地，通过求偏导数和令偏导数等于零，我们可以得到一个线性方程组，解这个方程组可以找到最优的b_0, b_1, …+ b_m*x_m，其中b_0是截距，b_1到b_m是各个自变量的系数。