推理速度提升十倍!英伟达发布ChatGPT核弹级GPU
在GTC大会上,英伟达发布了一款专为ChatGPT设计的“核弹”GPU(图像芯片):H100 NVL。这是一种具有94GB内存和加速Transformer引擎的大语言模型(LLM)专用解决方案,配备了双GPU NVLINK的PCIE H100 GPU。
视频链接>>>>

黄仁勋表示,当前唯一可以实际处理ChatGPT的GPU是英伟达HGX A100(OpenAI便是使用A100 GPU训练和运行ChatGPT),而H100 GPU的处理速度比A100 GPU快十倍,可以将大语言模型的处理成本降低一个数量级。


