当贝叶斯,奥卡姆和香农一起来定义机器学习

  1. 云栖社区>
  2. 新智元>
  3. 博客>
  4. 正文

当贝叶斯,奥卡姆和香农一起来定义机器学习

技术小能手 2018-09-13 15:55:26 浏览1634
展开阅读全文

令人有点惊讶的是,在所有机器学习的流行词汇中,我们很少听到一个将统计学、信息理论和自然哲学的一些核心概念融合起来的短语。

而且,它不是一个只有机器学习博士和专家懂得的晦涩术语,对于任何有兴趣探索的人来说,它都具有精确且易于理解的含义,对于ML和数据科学的从业者来说,它具有实用的价值。

这个术语就是最小描述长度(Minimum Description Length)。

让我们剥茧抽丝,看看这个术语多么有用……

贝叶斯和他的理论

我们从托马斯·贝叶斯(Thomas Bayes)说起,顺便一提,他从未发表过关于如何做统计推理的想法,但后来却因“贝叶斯定理”而不朽。

f21f488c42f889c247faba18378bc62cb2d907ba

Thomas Bayes

那是在18世纪下半叶,当时还没有一个数学科学的分支叫做“概率论”。人们知道概率论,是因为亚伯拉罕 · 棣莫弗(Abraham de Moievre)写的《机遇论》

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 新智元