本站点使用Cookies,继续浏览表示您同意我们使用Cookies。
Cookies和隐私政策>
11月4日晚间,月之暗面正式开放Kimi K3.1 Pro完整模型权重。浪潮信息随即实现Day 0适配,基于本土AI芯片的元脑SD200 Ultra超节点完成Kimi K3.1 Pro部署与推理验证。实测显示,该超节点单机运行2.8万亿参数模型,单用户Token生成速度达到210 Tokens/s,单Token生成时延首次突破4.76毫秒。
Kimi K3.1 Pro是月之暗面K3.1系列的首款模型,总参数量达2.8万亿,支持百万Token上下文。与上一代Kimi K3相比,它在代码开发、3D创作和金融研究等任务上的表现明显提升,也更擅长处理需要多步推理和连续执行的长程智能体任务。K3.1 Pro沿用了MoE架构和KDA线性注意力,并将原有的24层全注意力替换为Gated DSA门控稀疏注意力。这些变化在提升模型能力的同时,也对超节点的稀疏计算效率、长上下文缓存管理和多芯片通信协同提出了更高要求。
元脑SD200 Ultra超节点采用开放系统设计,通过3D Hyper Mesh架构紧密互联128颗本土AI芯片,提供8TB统一编址显存和64TB内存,支持10万亿参数规模的模型单机运行,并通过原生内存语义访问对端数据,减少跨芯片访问时的中转和数据搬移。

针对Gated DSA新增的索引计算、Top-K筛选及稀疏Attention执行环节,元脑SD200 Ultra将Q/KV、Indexer及输出投影权重按MMA布局重排,融合投影、索引、Attention与门控计算,复用多Query共享的Index Key及Scale,减少启动和访存开销。结合Tile级流水与计算、数据传输协同,进一步减少中间数据搬移;同时针对KDA与Gated DSA不同的计算和访存特点,优化分支执行及内存资源复用策略,提升芯片计算资源利用效率。
面向K3.1 Pro长上下文推理中的缓存承载、历史缓存复用及数据流转需求,元脑SD200 Ultra提供8TB统一编址显存、64TB内存及本地SSD资源,构建显存、内存、本地SSD三级KV Cache分层存储管理架构,并采用多级流水线、并行聚合等技术,将节点内本地磁盘I/O性能提升约32倍。通过分层管理与数据流转优化,提升KV Cache复用效率,降低重复计算与数据搬移开销,为长上下文、高并发推理提供兼顾性能、容量与成本的缓存支撑。
元脑SD200 Ultra采用3D Hyper Mesh架构,将128路本土AI芯片组织成协同计算整体,并通过Co-Fabric融脉架构实现跨主机统一寻址和原生内存语义通信。结合这一硬件特性,元脑SD200 Ultra采用对称内存技术简化对端寻址、减少中间数据搬运,并优化数据交换的跨主机通信流程,结合分块同步机制,减少Kimi K3.1 Pro计算过程中的通信等待,提升计算、通信与存储资源的协同效率。
面向代码开发、生产故障排查等任务,企业可在元脑SD200 Ultra上部署Kimi K3.1 Pro,在真实场景中体验智能体多轮推理的响应速度和执行效果。浪潮信息将持续优化前沿模型在超节点上的适配与部署,缩短从模型开放到业务验证的周期,让经过验证的智能体应用更快进入生产流程。
访问 AIStoreAIStore是基于元脑生态打造的商业协作线上平台,作为知识资源平台、交流服务平台和商机孵化平台,赋能“百模”与“千行”的对接,目前已上架200+产品和方案,在智能票据识别、AI工业质检、代码生成、视觉智能标注、AI健康助手等领域实现成功牵手和落地应用,助力千行百业加速AI产业创新,高效释放生产力。

扫码访问AIStore