Facebook用于AI模型培训和推理的开源硬件

每个月在一个应用程序和服务系列中为27亿人提供服务并不容易 - 只需问问Facebook。近年来，门洛帕克科技巨头已经从通用硬件转移到了专用加速器，这些加速器可以保证其数据中心的性能，功耗和效率提升，特别是在人工智能领域。为此，它今天宣布了用于AI模型培训的“下一代”硬件平台 - 锡安 - 以及针对AI推理优化的定制专用集成电路(ASIC) - Kings Canyon - 以及视频转码 - Mount Shasta。

Facebook表示，三个平台 - 它向开放计算项目捐赠，这是一个在其成员之间共享数据中心产品设计的组织 - 将大大加速人工智能培训和推理。“人工智能用于各种服务，以帮助人们进行日常互动，并为他们提供独特的个性化体验，”Facebook工程师Kevin Lee，Vijay Rao和William Christie Arnold在博客文章中写道。“在整个Facebook的基础设施中使用人工智能工作负载，使我们的服务更具相关性，并改善使用我们服务的人们的体验。”

Zion - 专为处理包括CNN，LSTM和SparseNN在内的神经网络架构的“频谱”而量身定制 - 包括三个部分：一个带有八个NUMA CPU插槽的服务器，一个八加速器芯片组，以及Facebook与供应商无关的OCP加速器模块( OAM)。它拥有高内存容量和带宽，这得益于两个高速结构(连接所有CPU的连贯结构，以及连接所有加速器的结构)，以及灵活的架构，可以使用顶部扩展到单个机架中的多个服务器机架式(TOR)网络交换机。

“由于加速器具有高内存带宽但内存容量低，我们希望通过对模型进行分区来有效地使用可用的聚合内存容量，使得更频繁访问的数据驻留在加速器上，而访问频率较低的数据驻留在关于带有CPU的DDR内存，“Lee，Rao和Arnold解释道。“所有CPU和加速器的计算和通信都是平衡的，并通过高速和低速互连有效地发生。”

至于专为推理任务而设计的Kings Canyon，它分为四个部分：Kings Canyon推理M.2模块，Twin Lakes单插槽服务器，Glacier Point v2载卡和Facebook的Yosemite v2机箱。Facebook表示正在与世界语，哈瓦那，英特尔，Marvell和高通公司合作开发支持INT8和高精度FP16工作负载的ASIC芯片。

Kings Canyon中的每台服务器都结合了M.2 Kings Canyon加速器和一个连接Twin Lakes服务器的Glacier Point v2载卡; 其中两个被安装到Yosemite v2雪橇(其具有比第一代优胜美地更多的PCIe通道)并通过NIC链接到TOR开关。Kings Canyon模块包括ASIC，内存和其他支持组件--CPU主机通过PCIe通道与加速器模块通信 - 而Glacier Point v2包含一个集成的PCIe交换机，允许服务器同时访问所有模块。

“通过适当的模型划分，我们可以运行非常大的深度学习模型。例如，对于SparseNN模型，如果单个节点的内存容量对于给定模型来说不够，我们可以进一步在两个节点之间对模型进行分片，从而增加模型可用的内存量，“Lee，Rao和Arnold说过。“这两个节点通过多主机NIC连接，允许高速交易。”

那么沙斯塔山呢?它是与Broadcom和Verisilicon合作开发的ASIC，专为视频转码而开发。在Facebook的数据中心内，它将被安装在带有集成散热器的M.2模块上，位于可容纳多个M.2模块的Glacier Point v2(GPv2)载板中。

该公司表示，平均而言，它预计这些芯片的效率会比目前的服务器“高出许多倍”。它的目标是在10W功率范围内以60fps输入流编码至少两倍4K。

“我们希望我们的Zion，Kings Canyon和Mount Shasta设计能够分别解决我们在AI培训，AI推理和视频转码方面日益增长的工作量，”Lee，Rao和Arnold写道。“我们将通过硬件和软件协同设计努力继续改进我们的设计，但我们不能单独做到这一点。我们欢迎其他人加入我们加速这种基础设施的过程。“