IT之家 2 月 12 日音书，海浪信息本日告示推出元脑 R1 推理办事器，通过系统立异和软硬协同优化，单机即可部署动手 DeepSeek R1 671B 模子。
IT之家注：DeepSeek 开源了多版块模子，其中，DeepSeek R1 671B 模子动作全参数基础大模子，比较蒸馏模子具有更强的泛化智力、更高的准确性和更好的陡立文融会智力，但也对系统显存容量、显存带宽、互连带宽和蔓延建议了更高条件：
在 FP8 精度下至少需要约 800GB 显存承载，FP16 / BF16 精度下需要 1.4TB 以上的显存空间。
此外，DeepSeek R1 是典型的长念念维链模子，具有短输入、长输出的愚弄特色，推融会码阶段依赖更高的显存带宽和极低的通讯蔓延。
元脑 R1 推理办事器 NF5688G7 原生搭载 FP8 计较引擎，提供 1128GB HBM3e 显存，知足 671B 模子 FP8 精度下不低于 800GB 显存容量的需求，单机赞助全量模子推理情况下，仍保留实足的 KV 缓存空间，该机的显存带宽可达 4.8TB/s。
在通讯方面，GPU P2P 带宽达 900GB/s，基于最新推理框架单机可赞助 20-30 用户并发。同期，单台 NF5688G7 配备 3200Gbps 无损彭胀聚积，可把柄用户业务需求增长罢了敏捷彭胀，提供 R1 办事器集群 Turnkey 处罚决策。
元脑 R1 推理办事器 NF5868G8 是专为大推理模子（Large Reasoning Model）盘算的高浑沌推理办事器，业界初次罢了单机赞助 16 张圭臬 PCIe 双宽卡，提供最高 1536GB 显存容量，赞助在 FP16 / BF16 精度下单机部署 DeepSeek 671B 模子。
该机领受基于 PCIe Fabric 的 16 卡全互连拓扑，纵容两卡 P2P 通讯带宽可达 128GB/s，裁汰通讯蔓延超 60%。通过软硬协同优化网赌游戏软件，相较传统 2 机 8 卡 PCIe 机型，NF5868G8 可将 DeepSeek 671B 模子推感性能进步近 40%，现在已赞助多元 AI 加快卡选配。