机器学习的一点理解

  1. 云栖社区>
  2. 袋鼠云技术团队>
  3. 博客>
  4. 正文

机器学习的一点理解

黑风寨1号 2016-11-04 22:52:34 浏览1370
展开阅读全文

最近在阿里的大数据平台进行一些工作,这些工作主要是数据的ETL。虽然是大数据平台,感觉做的事情不够大数据。现阶段机器学习也很火,所以想知道机器学习和大数据有啥关系。

下面是一些简单的理解。

目的

机器学习的目的是为了建立一个模型,然后使用这个模型来执行任务,比如预测、分类、聚类等。这个模型的特殊之处在于,需要使用数据来训练。

分类

神经网络大部分的算法可以划在监督学习之上。神经网络主要解决的问题,可以看作是分类问题。
深度学习属于神经网络。

例子

线性回归是回归的一种,以线性回归为例来看一看机器学习是怎么学习的:
线性方程的一般形式为:
                                                    y=αx+β
有了这个方程之后,就可以根据x的值来预测对应的y的值。下面要做的就是取到参数α和β的值。

获取的方法就是设定一个代价函数,比如最小二乘法。然后给参数α和β赋随机的值,然后梯度下降的方法,来取到代价最小的参数α和β的值。这是一个迭代的过程。

通过上面的例子,可以大概得出,建立一个模型要有2个步骤:

  •     选择模型:是线性的,还是多项式的
  •     确定模型的参数:选择不同的代价函数、进行不同的迭代计算。

机器学习和大数据

大数据没有包含机器学习,机器学习也没有包含大数据。它们两个是交集的关系。
传统的数据加工仍然有其价值,比如数据的预处理;机器学习对大数据来说是如虎添翼。

网友评论

登录后评论
0/500
评论
黑风寨1号
+ 关注
所属云栖号: 袋鼠云技术团队