英伟达打破实时对话AI的训练和推理用时记录

　　据国外媒体报道，Nvidia 用于开发和运行可理解和响应请求的对话式 AI 的 GPU 强化平台，已经达成了一些重要的里程碑，并打破了一些记录。

　　这对任何基于其技术进行开发的人来说意义重大——当中包括大大小小的公司，因为英伟达将很多用于实现这些进步的代码开源。那些代码用 PyTorch 编写，易于运行。

　　英伟达今天宣布的最大成果包括：BERT 训练用时打破记录，进入 1 小时关口。BERT 是世界上最先进的人工智能语言模型之一，也被广泛认为是自然语言处理（NLP）标杆的先进模型。Nvidia 的 AI 平台仅仅需要 53 分钟就能够完成模型训练，经过训练的模型在短短 2 毫秒多一点的时间里(10 毫秒在业内被认为是高水平线)就能够成功地做出推理(即利用通过训练学习到的能力得出结果)——又一个记录。

　　英伟达的这些突破不仅仅是吹嘘的资本——这些进步可为任何使用 NLP 对话式人工智能和 GPU 硬件的人提供切实的好处。Nvidia 在它的其中一个 SuperPOD 系统上打破了训练时间记录，该 SuperPOD 系统由运行 1472 个 V100 GPU 的 92 个 Nvidia DGX-2H 系统组成；在运行 Nvidia TensorRT 的 Nvidia T4 GPU 上完成推理过程。Nvidia TensorRT 在性能上超出高度优化的 CPU 许多个量级。不过，该公司将公开 BERT 训练代码和经过 TensorRT 优化的 BERT 样本，让所有人都可以通过 GitHub 利用。

　　除了这些里程碑以外，英伟达的研究部门还建立并训练了有史以来最大的一个基于“Transformer”的语言模型。这也是 BERT 的技术基础。该定制模型包含的参数多达 83 亿个，规模是当前最大的核心 BERT 模型 BERT-Large 的 24 倍。英伟达将这个模型命名为“Megatron”，它也对外提供了用于训练这个模型的 PyTorch 代码，因而其他人能够自行训练出类似的基于“Transformer”的大型语言模型。