基于PyTorch重写sklearn,《现代大数据算法》

  1. 云栖社区>
  2. 新智元>
  3. 博客>
  4. 正文

基于PyTorch重写sklearn,《现代大数据算法》

技术小能手 2018-11-19 16:18:40 浏览3251
展开阅读全文

HyperLearn是一个基于PyTorch重写的机器学习工具包Scikit Learn,它的一些模块速度更快、需要内存更少,效率提高了一倍。

专为大数据而设计,HyperLearn可以使用50%以下的内存,并在某些模块上运行速度提高50%以上。将支持GPU,并且所有模块都是并行化的。

项目作者Daniel Han-Chen,毕业于澳大利亚新南威尔士大学,专注于AI、NLP和无监督机器学习的推荐和匹配算法。

基于HyperLearn,作者展示了如何让很多机器学习算法更快、更高效。

其中一些很酷的算法:

 ●  最小二乘法/线性回归的拟合时间相比sklearn减少70%,内存使用减少50%
 ●  由于新的并行算法,非负矩阵分解的拟合时间相比sklearn减少50%
 ●  Euclidean算法/余弦相似度算法加快40%
 ●  LSMR迭代最小



网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属团队号: 新智元