机器学习项目到底怎么做?以及部分资料分享

  1. 云栖社区>
  2. 博客>
  3. 正文

机器学习项目到底怎么做?以及部分资料分享

season雅宁 2017-10-22 16:48:00 浏览1289
展开阅读全文

很久没有更新图形图像处理方面的博客了,最近在培训数据发掘方面的技术,就把学到的东西和大家分享下。


1. 压箱底的资料

还有一些平时收集 的压箱底的资料拿出来和大家分享下:

IPOL —-经典计算机视觉算法的c实现

http://www.ipol.im/?utm_source=doi

这里写图片描述

https://www.codecademy.com/ —-编程语言自学成才

我的python就是在这个网站自学的,基本上把python的基本数据结构,list,dist等等介绍了一遍,只要一周左右甚至更短的时间就可以基本掌握一门全新的语言
这里写图片描述

在线处理网站

https://www.processon.com/

这里写图片描述

如果没有visio这是最好的选择!

一些大牛的博客

刘未鹏
http://mindhacks.cn/
http://mindhacks.cn/2011/11/04/how-to-interview-a-person-for-two-years/
http://mindhacks.cn/2012/08/27/modern-cpp-practices/

写技术博客的选择

在csdn耕耘了8年有余,一直很喜欢这里,然而不知道为何身边的朋友高手就是github,stackoverflow

后面我也准备尝试一些其他的平台


2. Transwarp 机器学习培训

转型机器学习方向的过程是痛苦的。最近在上海花了一周时间参加transwarp的数据分析师培训,这是我时隔7年之后再次踏上魔都的土地。上次来这里还是7年前来看上海世博会,不同的是此处上海之行是由北京启程。我乘坐的是最早一班复兴号列车,由于很多外国人都在新奇 的拍照,这一路风驰电掣的路过祖国的大好河山,让我也怀揣着满满的民族自豪感惊异于祖国 的发展速度。2010年那会来上海一趟多难呀,尤其要买个卧铺,真是难上加难。

非常感谢单位领导给予的宝贵培训机会,之前说实话并未有全面系统的学过机器学习内容。但最重要的还是不知道:真实,工业级,业务上究竟怎么开展机器学习与业务的结合工作。这次培训基本给了我答案。transwarp 通过

推荐其支持托拉拽的机器学习产品sophon,让我直观的感受了整套机器学习工具平台的使用过程,以及机器学习模型的建模套路。其中之前我一直不太注重的有以下两点:

1.特征工程,归一化,字符串索引
2.评价指标,roc,方差和等

机器学习的算法

这里写图片描述

到底如何衡量业务是否需要机器学习?

  1. 业务问题是否适用机器学习算法?
  2. 如何选择模型
  3. 设计开发节奏
  4. 最终产品的检验

完整的数据发掘建模流程

这里写图片描述

特征工程

特征工程是机器学习的决定性因素是机器学习成功的关键

“数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已”
纵观Kaggle、KDD,阿里天池等国内外大大小小的比赛,每个竞赛的冠军其实
并没有用到很高深的算法,大多数都是在特征工程这个环节做出了出色的工作,
然后使用一些常见的算法,比如Linear Regression(线性回归),就能得到出色的
性能。

领域特定知识( domain specific knowledge),

这里写图片描述

最近还看到公众号上面一些好的文章,整取领悟以后分享出来

可视化托拉拽机器学习产品

KNIME https://www.knime.com/

对于机器学习和数据科学的初学者来说,最大的挑战之一是需要同时学习太多知识,特别是如果你不知道如何编码。你需要快速地适应线性代数、统计以及其他数学概念,并学习如何编码它们,对于新用户来说,这可能会有点难以承受。

如果你没有编码的背景并且发现很难学习下去,这时你可以用一个GUI驱动的工具来学习数据科学。当你刚开始学习的时候,可以集中精力学习实际的项目。一旦适应了基本的概念,你就可以在以后慢慢学习如何编写代码。

在今天的文章中,我将介绍一个基于GUI的工具:KNIME
这里写图片描述

sophon

星环还通过Transwarp Sophon来帮助数据工程师开发数据挖掘的应用。Sophon提供了可视化界面工具Midas 用于创建模型,用户只需通过拖拽数据源对象和运算符就能完成模型设计,然后将设计的模型在TDH集群上训 练或预测分析。

此外,Sophon还整合了深度学习框架Tensorflow,使用户可以通过拖拽生成各种神经网络模型,灵活调参和训练,将大数据和人工智能结合起来推动业务创新。

这里写图片描述

未完待续。。。。

网友评论

登录后评论
0/500
评论
season雅宁
+ 关注