机器学习笔记——Logistic回归算法

  1. 云栖社区>
  2. 博客>
  3. 正文

机器学习笔记——Logistic回归算法

罗诺 2018-10-05 14:21:51 浏览750
展开阅读全文

关于分类问题的例子:

  • 垃圾邮件分类问题
  • 分类网上交易
  • 对肿瘤的分析辨别预测

**logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。
**

基本思想:
1.寻找合适的假设函数,即分类函数,用以预测输入数据的判断结果

2.构造代价函数,即损失函数,用以表示预测的输出结果与训练数的实际类别之间的偏差

3.最小化代价函数,从而获取最优的模型参数

假设函数(分类函数)修改得到:
image
其中函数g为
image
其中g函数是Sigmoid函数或者是逻辑函数

Sigmoid函数图像:
image

从图像观察可以得到g(z)函数的值一直都在0~1之间,所以就可以推断得出h(x)的值也一定是在0~1之间。

所以假设函数和逻辑函数结合就得到:
image
关于肿瘤预测问题的例子:
image
决策界限
image

假设我们有一个训练集如图:(假设我们都已经拟合了这些数据image

线性边界:
image

非线性边界:
image

决策边界不是训练集的属性,而是假设本身及其参数的属性。
只要给定了参数向量θ,对应的图像也会随之确定。

hθ(x)函数的值表示结果取1的概率,因此对于输入x分类结果为类别1和类别0的概率分别为:

image


代价函数:
image

其中:

image

当y=1的时候:
image

当y=0的时候:
image

等价于:

image


代入代价函数,得:
image
其中的Cost函数和J函数都是基于最大似然估计法推导得到的。【关于最大似然估计法后续笔记会详细提到】

为了能够拟合函数,我们要找出让J函数取得最小值的参数θ,最小化代价函数的方法,是使用梯度下降法。

如果说想要获得代价函数J的最小值,重复θ的更新过程:
θ_j=θ_j-α ∂/(∂θ_j ) T(θ),J=0,1,2……n 其中α是学习步长

求偏导得:
image

最后得过程可以改写为:
image

多元分类:一对多
原理:
假如我们由一个训练集(如图),包含着三个类别:三角形表示y=1,正方形表示y=2,叉表示y=3
通常得解决方式就是:将这个训练集转化为三个独立得二元分类问题。
image
参考部分:
吴恩达——机器学习
《机器学习实战》peter Harrinton

以上内容均属于个人学习课程笔记以及参考书籍阅读之后增加的内容。如有不妥之处,还请大家指出。谢谢~~

网友评论

登录后评论
0/500
评论
罗诺
+ 关注