首页 科技正文

Facebook用于AI模型培训和推理的开源硬件

科技 2019-06-18 17:17:49

每个月在一个应用程序和服务系列中为27亿人提供服务并不容易 - 只需问问Facebook。近年来,门洛帕克科技巨头已经从通用硬件转移到了专用加速器,这些加速器可以保证其数据中心的性能,功耗和效率提升,特别是在人工智能领域。为此,它今天宣布了用于AI模型培训的“下一代”硬件平台 - 锡安 - 以及针对AI推理优化的定制专用集成电路(ASIC) - Kings Canyon - 以及视频转码 - Mount Shasta。

Facebook表示,三个平台 - 它向开放计算项目捐赠,这是一个在其成员之间共享数据中心产品设计的组织 - 将大大加速人工智能培训和推理。“人工智能用于各种服务,以帮助人们进行日常互动,并为他们提供独特的个性化体验,”Facebook工程师Kevin Lee,Vijay Rao和William Christie Arnold在博客文章中写道。“在整个Facebook的基础设施中使用人工智能工作负载,使我们的服务更具相关性,并改善使用我们服务的人们的体验。”

Zion - 专为处理包括CNN,LSTM和SparseNN在内的神经网络架构的“频谱”而量身定制 - 包括三个部分:一个带有八个NUMA CPU插槽的服务器,一个八加速器芯片组,以及Facebook与供应商无关的OCP加速器模块( OAM)。它拥有高内存容量和带宽,这得益于两个高速结构(连接所有CPU的连贯结构,以及连接所有加速器的结构),以及灵活的架构,可以使用顶部扩展到单个机架中的多个服务器机架式(TOR)网络交换机。

“由于加速器具有高内存带宽但内存容量低,我们希望通过对模型进行分区来有效地使用可用的聚合内存容量,使得更频繁访问的数据驻留在加速器上,而访问频率较低的数据驻留在关于带有CPU的DDR内存,“Lee,Rao和Arnold解释道。“所有CPU和加速器的计算和通信都是平衡的,并通过高速和低速互连有效地发生。”

至于专为推理任务而设计的Kings Canyon,它分为四个部分:Kings Canyon推理M.2模块,Twin Lakes单插槽服务器,Glacier Point v2载卡和Facebook的Yosemite v2机箱。Facebook表示正在与世界语,哈瓦那,英特尔,Marvell和高通公司合作开发支持INT8和高精度FP16工作负载的ASIC芯片。

Kings Canyon中的每台服务器都结合了M.2 Kings Canyon加速器和一个连接Twin Lakes服务器的Glacier Point v2载卡; 其中两个被安装到Yosemite v2雪橇(其具有比第一代优胜美地更多的PCIe通道)并通过NIC链接到TOR开关。Kings Canyon模块包括ASIC,内存和其他支持组件--CPU主机通过PCIe通道与加速器模块通信 - 而Glacier Point v2包含一个集成的PCIe交换机,允许服务器同时访问所有模块。

“通过适当的模型划分,我们可以运行非常大的深度学习模型。例如,对于SparseNN模型,如果单个节点的内存容量对于给定模型来说不够,我们可以进一步在两个节点之间对模型进行分片,从而增加模型可用的内存量,“Lee,Rao和Arnold说过。“这两个节点通过多主机NIC连接,允许高速交易。”

那么沙斯塔山呢?它是与Broadcom和Verisilicon合作开发的ASIC,专为视频转码而开发。在Facebook的数据中心内,它将被安装在带有集成散热器的M.2模块上,位于可容纳多个M.2模块的Glacier Point v2(GPv2)载板中。

该公司表示,平均而言,它预计这些芯片的效率会比目前的服务器“高出许多倍”。它的目标是在10W功率范围内以60fps输入流编码至少两倍4K。

“我们希望我们的Zion,Kings Canyon和Mount Shasta设计能够分别解决我们在AI培训,AI推理和视频转码方面日益增长的工作量,”Lee,Rao和Arnold写道。“我们将通过硬件和软件协同设计努力继续改进我们的设计,但我们不能单独做到这一点。我们欢迎其他人加入我们加速这种基础设施的过程。“

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请 第一时间联系我们修改或删除,多谢。

头条推荐

人工智能产生逼真的声音 愚弄人类

人工智能产生逼真的声音 愚弄人类

计算机科学和人工智能实验室的深度学习视觉系统

计算机科学和人工智能实验室的深度学习视觉系统

图文推荐

CSAIL与丰田一起投资2500万美元用于自动驾驶汽车的研究中心

CSAIL与丰田一起投资2500万美元用于自动驾驶汽车的研究中心

马文明斯基人工智能之父在88年去世

马文明斯基人工智能之父在88年去世

节能芯片可以执行强大的人工智能任务

节能芯片可以执行强大的人工智能任务