机器学习-线性回归-正规方程

  1. 云栖社区>
  2. 博客>
  3. 正文

机器学习-线性回归-正规方程

陈国林 2016-08-10 00:14:30 浏览560
展开阅读全文

1. 正规方程

前面几篇文章里面我们介绍了求解线性回归模型第一个算法 梯度下降算法,梯度下降算法最核心的是找到一个学习速率α,通过不断的迭代最终找到θ0 ... θn, 使得J(θ)值最小。

今天我们要介绍一个解决线性回归模型新的算法 正规方程 对于函数f(x) = ax^2 + bx + c 而言,要求其最小值,是对其求导数并且设置导数值为0.

我们知道,多维特征变量的线性回归模型中,代价函数表达式,如下图所示

扩展到n+1个参数θ0 ... θn,求函数J(θ)也可以对每个参数求导并另导数为0

经数学证明,运用线性代数的公式,可以直接求解特征向量θ(θ0,θ1 ... θn)使得代价函数J(θ)最小

  1. X表示特征向量矩阵
  2. X^T表示的是矩阵X的转置矩阵
  3. (X^T*X)^-1,表示矩阵X的转置矩阵和它相乘得到的新的矩阵求逆
  4. Y表示训练集中,结果矩阵

2. 举例说明

假设我们预测房价的训练集如下所示

训练集m=4,特征维度n=4,同时我们假设X0=1,因此特征矩阵X=m*(n+1)

证明如下

  1. X = m*(n+1)
  2. X^T = (n+1)*m
  3. (X^T * X) = (n+1) * (n+1)
  4. (X^T * X)^-1 = (n+1) * (n+1)
  5. Y = m * 1
  6. X^T * Y = (n+1) * 1
  7. (X^T * X)^-1 * X^T * Y = ((n+1) * (n+1)) * ((n+1) * 1) = (n+1) * 1

由上可知,求出的向量即为θ(θ0,θ1 ... θn)

特别注意: 并不是所有(X^T * X)相乘的结果都可逆,不过我们一般不用太关心这些细节,对于MATLAB或者octave来说无论可逆不可逆,最终都可以求出结果

3. 什么时候选择正规方程

梯度下降特点:

  1. 选择合适的学习速率α
  2. 通过不断的迭代,找到θ0 ... θn, 使得J(θ)值最小

正规方程特点:

  1. 不需要选择学习速率α,不需要n轮迭代
  2. 只需要一个公式计算即可

但是并不是所有的线性回归都适合用正规方程,我们知道求解一个矩阵的逆复杂度为O(n^3),因此当特征维度n非常大的时候(X^T * X)^-1需要O(n^3)时间,此时选择正规方程效率将会特别低

当n < 1000时候选择正规方程比较合适,但是当n > 1000的时候使用梯度下降算法会是更佳的方案


网友评论

登录后评论
0/500
评论
陈国林
+ 关注