基于区块链的机器学习模型创建方案

简介: 区块链不仅会改变人工智能获取数据的方式,也会影响模型的创造!

通过基于区块链市场产生的数据训练出的机器学习模型有可能成为世界上最强大的人工智能。它们结合了两个强大的原始资源:私人机器学习,允许在不透露敏感私人数据的情况下进行训练,以及基于区块链所带有的激励机制,这些激励机制允许这些系统可以吸引最佳数据和模型,使其更加智能化。其最后导致的结果是开放的市场,任何人都可以出售他们的数据并保持其数据的私密性,而开发人员则可以使用激励措施为他们的算法吸引最佳数据。译者注:著名的华人物理学家张首晟也曾表示过区块链可以很好的解决人工智能需要大量的数据的难题。

起源

这个想法的基础是在2015年与理查德· 努梅莱的谈话中获得的Numerai是一家对冲基金,它将加密的市场数据发送给任何想要竞争模拟股市的数据科学家,然后根据他们打造的模型性能的良好程度进行不同级别的奖励。

创建:

举个例子:我们试着创建一个完全分散的系统,用于在分散交易所交易加密货币。这是未来的一个方向:

数据:数据提供者可以获取数据并将其提供给建模人员。

模型构建:建模者选择要使用的数据并创建模型。训练是使用安全的计算方法完成的,该方法允许模型在不暴露底层数据的情况下进行训练。

元模型:构建元模型是基于考虑每个模型的算法创建的。

使用元模型:智能合约通过分散交换机制在链上以编程方式进行元模型交易。

分配收益/损失:经过一段时间后,交易产生利润或亏损。这种利润或损失是根据元模型的贡献者分成多少,这取决于他们制作多少智能元素。然后,模型转向并对其数据提供者执行类似的分发/股权削减。

可验证的计算:每个步骤的计算是集中式的,但可以使用像Truebit这样的验证游戏进行验证和挑战,或者使用安全的多方计算进行分散。

托管:数据和模型要么托管在IPFS上,要么托管在安全的多方计算网络中,因为链上存储将会过于昂贵。

c0cb1f36c96a9bb2a281077c277a64b19df8f6f9

是什么让这个系统强大?

吸引全球最佳数据:吸引数据的激励措施是系统中最有效的部分,因为数据往往成为大多数机器学习的限制因素。比特币就是以同样的方式,通过开放式激励机制创建了一个全球计算能力最强的紧急系统,适当设计的数据激励结构将为你的应用程序带来世界上最好的数据。关闭数千或数百万个数据来源的系统几乎是不可能的。

算法之间的竞争:在以前不存在的地方创建模型/算法之间的公开竞争,使用数千种竞争新闻源算法来分散Facebook

奖励的透明度:数据和模型提供商可以看到他们获得了他们提交的公平价值,因为所有计算都是可验证的,使他们更有可能参与。

自动化:在链上直接生成值并在令牌中直接生成值创建了一个自动化的,不受信任的闭环。

网络效应:数据提供者和数据科学家多面的网络效应使系统自我强化。它的表现越好,吸引的资金就越多,这意味着更多的潜在支出,这吸引了更多的数据提供者和数据科学家,他们使系统变得更加智能化,从而吸引更多的资金。

安全计算:安全的计算方法允许模型在数据上进行训练而不会泄露数据本身。目前使用和研究的安全计算有三种主要形式:同态加密HE),多方安全计算MPC)和零知识证明ZKPs)。多方安全计算是最常用的专用机器学习计算方式,作为同态加密往往过于缓慢。安全计算方法是处于计算机科学研究的前沿技术,它们通常比常规计算慢几个数量级,但近年来一直在改进。

终极推荐系统:

为了证明私人机器学习的潜力,想象一下名为“终极推荐系统”的应用程序。它会监视你在设备上执行的所有操作:你的浏览记录、你在应用中执行的所有操作、手机上的图片、位置数据、消费记录、可穿戴传感器、短信、家中的相机。然后给你推荐:你应该访问的下一个网站、阅读文章、听歌或购买产品,这个推荐系统会非常有效。比谷歌,Facebook或其他任何现有的数据孤岛都要多,因为它对你更了解,它可以从你的私人数据中学习。与以前的加密货币交易系统的例子类似,它可以通过允许一个专注于不同领域的模型市场(例如:网站推荐,音乐)竞争访问你的加密数据并向你推荐某些东西,甚至可能为你提供数据。

目前的方法

来自Algorithmia Research一个简单结构将模型的精确度设置为高于某个回测阈值:

fec1a2f2d08dace1ccdfb779e4dcc8321fd18c53

由Algorithmia Research创建机器学习模型的简单构造

Numerai目前采取三个步骤:它使用加密数据(尽管不完全同态),它将众包模型结合到元模型中,并根据未来表现奖励模型,而不是通过回溯测试。

还有一些人正在开始构建安全的计算网络。Openmined正在创建一个多方计算网络,用于在Unity上训练机器学习模型,该网络可以在任何设备上运行,包括游戏控制台(类似于家中的Folding),然后扩展以确保MPC的安全。

最终状态将是相互拥有的元模型,它使数据提供者和模型创建者的所有权与他们做出更聪明的决定成比例。这些模型将被标记化,随着时间的推移可以派发股息,甚至可能受到训练者的支配。这是一种互相拥有的蜂巢式思维。

启示

首先,分散式的机器学习市场可以消除目前科技巨头的数据垄断。在过去的20年中,他们将互联网上的主要价值创造源头标准化和商品化:专有数据网络和围绕它们的强大网络效应。结果——价值创造从数据转移到算法。

第二,他们创造了世界上最强大的AI系统,通过直接的经济激励为他们吸引最好的数据和模型。他们的力量通过多方面的网络效应而增加。随着Web 2.0时代的数据网络垄断变得商品化,它们似乎成为下一个重新聚合点的理想选择。

第三,正如推荐系统的例子所显示的,搜索是颠倒的——不是我们在找产品而是产品再找我们。每个人都可能有个人策略市场,推荐系统在竞争中将最相关的内容放入其供稿中,并且相关性由个人定义。

第四,它们使我们能够从GoogleFacebook等公司获得的服务是一样的,并且不会泄漏我们的数据。

第五,机器学习可以更快地推进,因为任何工程师都可以访问开放的数据市场,而不仅仅是大型Web 2.0公司的一小部分工程师。

挑战

首先,安全计算方法目前非常缓慢,机器学习的计算成本太高。另一个好消息是科学界对安全计算方法的兴趣已经开始出现,性能正在不断提高。

其次,计算为元模型提供的一组特定数据或模型的值是很难,清理和格式化众包数据是具有挑战性的。

最后,具有讽刺意味的是,创建这种系统的广义构造的商业模式不如创建个体实例那么明确,这似乎是很多新的加密原语。

结论

私人机器学习与区块链激励相结合,可以在各种应用中创造出最强大的机器智能。随着时间的推移,可以解决很多重大的技术挑战。他们的长期潜力是巨大的,他们是可怕的:他们引导自己存在、自我强化、训练私人数据、并且几乎不可能关闭。无论如何,它们将是加密货币如何缓慢地进入每个行业的又一例证。


数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

本文由@阿里云云栖社区组织翻译。

文章原标题《blockchain-based-machine-learning-marketplaces》

作者:Fred Ehrsam

译者:虎说八道  审校:袁虎。

文章为简译,更为详细的内容,请查看原文文章

相关文章
|
12天前
|
机器学习/深度学习 数据采集 人工智能
构建高效机器学习模型的五大技巧
【4月更文挑战第7天】 在数据科学迅猛发展的今天,机器学习已成为解决复杂问题的重要工具。然而,构建一个既精确又高效的机器学习模型并非易事。本文将分享五种提升机器学习模型性能的有效技巧,包括数据预处理、特征工程、模型选择、超参数调优以及交叉验证。这些方法不仅能帮助初学者快速提高模型准确度,也为经验丰富的数据科学家提供了进一步提升模型性能的思路。
|
26天前
|
机器学习/深度学习 数据采集 监控
大模型开发:描述一个典型的机器学习项目流程。
机器学习项目涉及问题定义、数据收集、预处理、特征工程、模型选择、训练、评估、优化、部署和监控。每个阶段都是确保模型有效可靠的关键,需要细致操作。
17 0
|
17天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型的最佳实践
【4月更文挑战第3天】在数据驱动的时代,构建高效的机器学习模型已成为解决复杂问题的关键。本文将探讨一系列实用的技术策略,旨在提高模型的性能和泛化能力。我们将从数据预处理、特征工程、模型选择、超参数调优到集成学习等方面进行详细讨论,并通过实例分析展示如何在实践中应用这些策略。
15 1
|
2天前
|
机器学习/深度学习 存储 算法
PYTHON集成机器学习:用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化
PYTHON集成机器学习:用ADABOOST、决策树、逻辑回归集成模型分类和回归和网格搜索超参数优化
25 7
|
2天前
|
机器学习/深度学习 算法 数据处理
构建自定义机器学习模型:Scikit-learn的高级应用
【4月更文挑战第17天】本文探讨了如何利用Scikit-learn构建自定义机器学习模型,包括创建自定义估计器、使用管道集成数据处理和模型、深化特征工程以及调优与评估模型。通过继承`BaseEstimator`和相关Mixin类,用户可实现自定义算法。管道允许串联多个步骤,而特征工程涉及多项式特征和自定义变换。模型调优可借助交叉验证和参数搜索工具。掌握这些高级技巧能提升机器学习项目的效果和效率。
|
3天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型:从特征工程到模型调优
【4月更文挑战第16天】 在数据驱动的时代,机器学习已成为解决复杂问题的关键工具。本文旨在分享一套实用的技术流程,帮助读者构建高效的机器学习模型。我们将重点讨论特征工程的重要性、选择合适算法的策略,以及通过交叉验证和网格搜索进行模型调优的方法。文章的目标是为初学者提供一个清晰的指南,同时为有经验的实践者提供一些高级技巧。
|
4天前
|
机器学习/深度学习 人工智能 分布式计算
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
R和Python机器学习:广义线性回归glm,样条glm,梯度增强,随机森林和深度学习模型分析
|
9天前
|
机器学习/深度学习 JavaScript 前端开发
机器学习模型部署:使用Python和Vue搭建用户友好的预测界面
【4月更文挑战第10天】本文介绍了如何使用Python和Vue.js构建机器学习模型预测界面。Python作为机器学习的首选语言,结合Vue.js的前端框架,能有效部署模型并提供直观的预测服务。步骤包括:1) 使用Python训练模型并保存;2) 创建Python后端应用提供API接口;3) 利用Vue CLI构建前端项目;4) 设计Vue组件实现用户界面;5) 前后端交互通过HTTP请求;6) 优化用户体验;7) 全面测试并部署。这种技术组合为机器学习模型的实用化提供了高效解决方案,未来有望更加智能和个性化。
|
14天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型:从数据预处理到模型优化
【4月更文挑战第6天】本文聚焦于机器学习模型的开发流程,旨在提供一套系统的方法论以构建出更高效的模型。我们将深入探讨数据预处理的重要性,特征工程的策略,以及如何通过交叉验证和超参数调优来提升模型性能。文章不仅涉及理论分析,还包括了实际案例的代码实现,为读者呈现一个从数据处理到模型部署的完整蓝图。
13 0
|
15天前
|
机器学习/深度学习 数据采集 算法
构建高效机器学习模型:从数据预处理到模型优化
【4月更文挑战第5天】 在机器学习领域,构建一个高效的模型并非易事。它涉及多个阶段,包括数据预处理、特征工程、模型选择、训练以及最终的评估和优化。本文深入探讨了如何通过精确的数据预处理技巧和细致的特征工程来提升模型性能,同时介绍了几种常见的模型优化策略。我们的目标是为读者提供一套实用的指导方案,帮助他们在面对复杂数据集时能够有效地构建和调整机器学习模型。