英特尔AI CTO:人工智能训练需要新型芯片架构

简介:

英特尔人工智能产品集团新上任的首席技术官Amir Khosrowshahi表示,当你使用GPU水平较低的时候,业界需要新架构用于神经网络的理由就愈加明显了。

Khosrowshahi此前是Nervana System公司的共同创始人兼首席技术官,该公司在去年8月被英特尔收购,金额未对外公布。Nervana的技术迅速成为英特尔人工智能计划的核心。

Khosrowshahi详细介绍了Nervana公司是如何使用GPU的,因为“这是最先进的技术”,Nervana用它自己的汇编器取代了标准的Nvidia汇编器,因为这被Nervana视为可以生成“次优”指令。

“我们在公司发展初期是这么做的,部分是为了我们自己的发展,但后来我们意识到它比Nvidia的库要快2-3倍,所以我们将其作为开源发布了。”

Nervana的努力并没有止步于软件方面,它还创造了自己的硅芯片瞄准神经网络训练。

“神经网络是一系列预定的操作,它不像是用户与系统的交互,它是一组可以被描述为数据流图表的指令。”

据Khosrowshahi称,一些功能有助于图形处理单元执行图形渲染工作——如大量缓存,处理节点,渲染——都是多余的。

“GPU中有很多电路,这对于机器学习来说并不是必需的,随着时间推移有很多东西堆积起来。”

“你并不需要电路,这些电路在芯片中占很大比例,而且能源利用成本也很高。”

“神经网络非常简单,它是很少的矩阵乘法和非线性,你可以直接搭建硅芯片来实现。你可以搭建硅芯片专用于神经网络架构,GPU却不是这样的。”

Khosrowshahi给出的答案是正在开发的Lake Crest,英特尔将在今年向选定客户推出这个独立的加速器,随着时间的推移,它还将更紧密地与至强处理器捆绑在一起。

“这是一个张量处理器,处理矩阵操作的指令。”Khosrowshahi解释说。“所以指令集是矩阵1乘以矩阵2,通过一个查找表,而且这些大指令都是高级别的。”

“在GPU中,它是一个个的寄存器,移入另一个寄存器,做逐个元素的乘法,这是相当低级别的。”

不过Khosrowshahi表示,Nvidia近年来努力让他们的GPU更适合于神经网络,他们的人工智能芯片仍然具有大量图形功能。

“作为一家芯片厂商,我可以看出为什么这对Nvidia来说很困难,”Khosrowshahi说。

另一方面,英特尔通过收购一步步接近人工智能。

“推出一个全新的价格,这在芯片行业是一大挑战;英特尔的方式就是收购。他们收购了FPGA,所以又收购了Altera,Altera是一个非常酷的架构,专注于神经网络,所以FPGA架构对于神经网络来说是非常有趣的……当然,Nervana芯片很大程度上也是一个专注于引擎的神经网络,但是稍微脱离出神经网络一些。”

当谈到神经网络时,Khosrowshahi认为考虑在硅芯片中做蚀刻神经网络是错误的,因为其中很多功能仍然是在软件方面的。

“很多功能都是在软件的,所以即使开发了Lake Crest,针对Lake Crest的指令也不是‘神经网络,这么做’,而是这个矩阵乘以这个矩阵。”

“除了芯片之外,还有一些软件知道这是神经网络,这是训练,用户寻找不同的东西并搜索参数——当你有了神经网络系统的时候这些都是你要做的事情。”

在神经科学的大背景下,Khosrowshahi认为人工智能的重点不是重建人脑,而是超越人脑。

“人脑就是人工智能的一个例子,但这是相当有限的人工智能,我的视觉系统看到了物理世界,它知道去了解世界的统计数据。”

“如果你环顾四周,你能看到很多边缘、很多表面、阴影区等等,如果你看看大脑……主要是视觉皮层,有对这些特征敏感的神经元,所以你的人工智能了解这个世界的统计数据,并且能够对此进行推论——就像是这个杯子快要打碎,我接住了这个杯子。”

但是企业内的数据与人类互动的数据大不相同,Khosrowshahi说。

“这个统计数据是非常不直观的,所以让人工智能处理这些数据是另外一种智能了。”

“这试图向人们解释这一点,因为他们认为我们正在创造一个大脑,我们想做的超越了这一点,我们希望创造一种新的人工智能,可以理解企业、医疗等所有领域的数据统计,这些数据本质上与现实世界中的截然不同。

英特尔人工智能架构的竞争对手之一是Google定制的Tensor Processing Unit,本周Google称这种架构笔当前的GPU和CPU快15-30倍,功效高30-80倍。

本周,IBM和Nvidia也宣布IBM将从5月开始在IBM Cloud中提供Tesla的P100。


原文发布时间为: 2017年4月7日

本文作者:杨昀煦 

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
相关文章
|
1月前
|
机器学习/深度学习 人工智能 算法
AI加速引擎PAI-TorchAcc:OLMo训练加速最佳实践
阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。在保证模型效果和易用性的前提下,PAI-TorchAcc相对 PyTorch 性能在 OLMo 1B 上加速比达到 1.64X,在 OLMo 7B 上加速比达到 1.52X。本文分析了 PAI-TorchAcc 的性能收益来源。
|
2月前
|
传感器 机器学习/深度学习 算法
无人机视角yolo多模态、模型剪枝、国产AI芯片部署
无人机视角yolo多模态、模型剪枝、国产AI芯片部署
178 0
无人机视角yolo多模态、模型剪枝、国产AI芯片部署
|
1月前
|
人工智能 芯片 异构计算
英伟达要小心了!爆火的Groq芯片能翻盘吗?AI推理速度「吊打」英伟达?
随着科技的飞速发展,人工智能公司Groq挑战了英伟达的王者地位,其AI芯片不仅展现出卓越的实力,还拥有巨大的潜力。Groq设计了一种独特的推理代币经济学模式,该模式背后牵动着众多因素,却也引发了深度思考:新的技术突破来自何处?中国该如何应对并抓住变革中的机遇?Groq成本如何评估?这些都是值得研究和思考的问题。
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章
大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章
大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章
|
29天前
|
人工智能 机器人 芯片
英伟达最强 AI 芯片、人形机器人模型炸场!黄仁勋放言英语将成最强大编程语言
在2024年的GTC大会上,英伟达创始人黄仁勋揭幕了新一代AI芯片Blackwell,号称是史上最强AI芯片,目标是推动AI领域的重大进步。
|
30天前
|
人工智能 开发者 Python
Firefly:开源大模型训练工具助力AI技术进步,让你轻松训练各种主流大模型!
Firefly:开源大模型训练工具助力AI技术进步,让你轻松训练各种主流大模型!
169 1
|
1月前
|
人工智能 缓存 机器人
【2024】英伟达吞噬世界!新架构超级GPU问世,AI算力一步提升30倍
英伟达在加州圣荷西的GTC大会上发布了全新的Blackwell GPU,这款拥有2080亿个晶体管的芯片将AI性能推向新高度,是公司对通用计算时代的超越。Blackwell采用多芯片封装设计,通过两颗GPU集成,解决了内存局部性和缓存问题,提供20 petaflops的FP4算力,是上一代产品的5倍。此外,新平台降低了构建和运行大规模AI模型的成本和能耗,使得大型语言模型推理速度提升30倍。黄仁勋表示,Blackwell标志着AI算力在近八年内增长了一千倍,引领了技术边界拓宽的新趋势。
|
1月前
|
人工智能 算法 UED
OpenAI与法国和西班牙媒体巨头合作:利用内容进行训练AI
【2月更文挑战第26天】OpenAI与法国和西班牙媒体巨头合作:利用内容进行训练AI
24 7
OpenAI与法国和西班牙媒体巨头合作:利用内容进行训练AI
|
1月前
|
人工智能 算法 芯片
全球最强最大AI芯片WSE-3发布,4万亿晶体管5nm工艺制程
【2月更文挑战第24天】全球最强最大AI芯片WSE-3发布,4万亿晶体管5nm工艺制程
20 1
全球最强最大AI芯片WSE-3发布,4万亿晶体管5nm工艺制程
|
1月前
|
人工智能 算法 数据处理
App Inventor 2 Personal Image Classifier (PIC) 拓展:自行训练AI图像识别模型,开发图像识别分类App
这里仅仅介绍一下AI图像识别App的实现原理,AI的基础技术细节不在本文讨论范围。通过拓展即可开发出一款完全自行训练AI模型,用于特定识别场景的App了。
41 1