机器学习-逻辑回归-代价函数

  1. 云栖社区>
  2. 博客>
  3. 正文

机器学习-逻辑回归-代价函数

陈国林 2016-08-24 23:33:27 浏览660
展开阅读全文

1. 引言

回到线性回归模型中,训练集和代价函数如下图

如果我们还用J(θ)函数做为逻辑回归模型的代价函数,用H(x) = g(θ^T * x),曲线如下图所示

发现J(θ)的曲线图是"非凸函数",存在多个局部最小值,不利于我们求解全局最小值

因此,上述的代价函数对于逻辑回归是不可行的,我们需要其他形式的代价函数来保证逻辑回归的代价函数是凸函数。

2. 代价函数

这里我们先对线性回归模型中的代价函数J(θ)进行简单的改写

用Cost(h(x), y) = 1/2(h(x) - y)^2 代替

在这里我们选择对数似然损失函数做为逻辑回归模型的代价函数,Cost函数可以表示如下

分析下这个代价函数

(1). 当y=1的时候,Cost(h(x), y) = -log(h(x))。h(x)的值域0~1,-log(h(x))的曲线图,如下

从图中可以看出

  1. h(x)的值趋近于1的时候,代价函数的值越小趋近于0,也就是说预测的值h(x)和训练集结果y=1越接近,预测错误的代价越来越接近于0,分类结果为1的概率为1
  2. 当h(x)的值趋近于0的时候,代价函数的值无穷大,也就说预测的值h(x)和训练集结果y=1越相反,预测错误的代价越来越趋于无穷大,分类结果为1的概率为0

(2). 当y=0的时候, Cost(h(x), y) = -log(1-h(x))。h(x)的值域0~1,-log(1-h(x))的曲线图,如下

从图中可以看出

  1. h(x)的值趋近于1的时候,代价函数的值趋于无穷大,也就是说预测的值h(x)和训练集结果y=0越相反,预测错误的代价越来越趋于无穷大,分类结果为0的概率为1-h(x)等于0
  2. 当h(x)的值趋近于0的时候,代价函数的值越小趋近于0,也就说预测的值h(x)和训练集结果y=0越接近,预测错误的代价越来越接近于0,分类结果为0的概率为1-h(x)等于1

为了统一表示,可以把Cost(h(x), y)表达成统一的式子,根据前面J(θ)的定义,J(θ)等于

特别说明: 

1. 当y=1的时候,第二项(1-y)log(1-h(x))等于0 

2. 当y=0的时候,ylog(h(x))等于0

从上面2点可以看出,J(θ)表达式符合前面定义

根据线性回归求代价函数的方法,可以用梯度下降算法求解参数θ

从上图可以看出,θj更新和线性回归中梯度下降算法的θj更新一致,差别的是假设函数h(x)不同


网友评论

登录后评论
0/500
评论
陈国林
+ 关注