元脑KOS AI推理版发布 混合算力环境下实现推理服务“分钟级”高效部署

随着大模型走向实际应用，企业AI需求正从训练向推理迁移，IDC预测，到2026年，在云端部署算力中推理算力占比将达到62.2%。由于推理场景更关注吞吐量、响应时间、能效等，许多用户选择更加经济高效的混合算力部署模式，在满足业务性能需求的同时，实现成本、能耗及灵活性最优。如何在混合算力环境下高效、便捷地开展推理服务部署，成为企业释放AI价值的关键。

为降低推理服务部署门槛，提高混合算力环境下部署效率，浪潮信息推出元脑服务器操作系统KOS AI版，通过集成60余个专用软件包、CUDA运行库等核心组件及依赖项，实现推理环境一站式部署，环境准备时间从“数天级”压缩至“分钟级”；通过屏蔽底层设备差异实现算力资源智能调度，显著提升混合算力场景下的推理性能，并依托全面监控工具保障模型推理的高效、稳定运行。

模型推理服务部署 企业数智化转型的关键一环

随着大模型走向落地应用，推理成为企业普遍需求，强大的推理能力则成为企业数字化转型和智能化升级的重要推动力。对于广大用户尤其是中小企业而言，如何利用有限的基础设施实现推理服务高效部署，成为其面临的一项挑战。

AI推理服务部署是一项涉及众多环节的系统工程，主要包括环境搭建、服务配置与监控运维等。

首先，推理环境搭建复杂耗时。环境搭建是AI推理服务的第一步，尤其在混合算力条件下，需要适配各类硬件设备，支持必要的软件工具和模型文件，并解决GPU驱动适配、环境参数、软件栈与容器依赖等诸多问题。目前，国内外主流CPU、GPU型号达数十款，与推理相关的环境参数达到40余项，不同类型的资源准备通常耗费数天时间。并且客户数据中心环境复杂，在大量并发访问情况下， 如何实现混合算力资源的按需调度，成为用户在环境搭建时需要考虑的问题。

其次，服务配置繁琐易错。目前，业界主要采用容器化部署方式，需要手动配置繁琐的Docker参数，例如基础镜像选择、端口映射、卷挂载、GPU驱动兼容性等，且不同参数之间存在复杂的依赖关系，配置过程极易出错。企业需要高度自动化、可视化的配置工具，简化配置流程，减少手动干预和配置错误风险，实现“一键配置”。

最后，在服务上线后，需要持续监控系统性能、资源使用情况及错误日志等，以便快速定位并解决问题。如果用户缺乏专业背景，就难以实时掌握系统状态，发现问题也会滞后。因此，用户需要一个直观易用的监控系统和告警机制，以简化日常运维工作。

元脑KOS AI版实现混合算力资源池化管理，推理服务“开箱即用”

为此，浪潮信息发布元脑KOS AI版，通过在环境搭建、服务部署、资源管理及运维监控等方面的技术创新，让AI推理部署从“复杂工程”变为“开箱即用”，助力开发者与企业快速构建并开展AI应用探索。元脑KOS AI版主要特性如下：

屏蔽底层硬件差异，“分钟级”搭建推理环境

作为硬件与推理框架的中间层，AI版能够帮助上层推理框架屏蔽底层硬件差异，推理框架无需主动选择算力来源，基于算力资源池实现动态调度与共享，充分提升混合算力情况下的推理性能；同时，能够避免算力不足的情况下，因为硬件的限制导致设备间负载偏斜，实现在大规模集群场景下的混合算力充分释放。

同时，推理版预装最新版CUDA Toolkit与GPU驱动并持续迭代，针对不同GPU架构进行深度优化，在各种推理应用场景下精准识别与适配各类GPU架构的特性，如流处理器架构、CUDA等，并在不同硬件环境下都能获得最优的系统配置；深度预集成AI推理专属软件仓库栈，内置GPU驱动组件、Docker容器工具包、CUDA/cuDNN运行库等核心组件，以及上述组件的一二级依赖项，共计超过60个软件包，在离线场景下，用户仅需一条命令即可完成基础环境的部署、依赖解析与配置。

集成主流AI框架，“积木式”完成服务配置

基于多模态推理大模型应用，元脑KOS AI版深度集成主流AI框架的容器镜像，包括vLLM、Pytorch、Transformer等推理框架及深度学习库，以及cuDNN、NCCL、OpenCV等主流AI库。通过完善的依赖管理机制，解决了不同框架与库之间的版本依赖与冲突问题；用户可通过标准化服务接口以及REST API，将训练好的AI模型从开发环境快速部署到生产环境，无需复杂的配置和调试，前端应用可以立刻开始调用模型进行推理；元脑KOS AI版提供双模式启动功能，面向具备快速部署和运行推理服务需求的用户提供开机自动启动模式，面向具备个性化推理调优需求的用户提供手动启动模式。

提供vLLM观测功能，“直观化”运维监控

元脑KOS AI版vLLM观测功能提供全面的监控指标和工具，帮助用户深入了解推理过程中的性能瓶颈，优化资源分配和推理策略，确保推理的高效、稳定运行。元脑KOS AI版集成了Prometheus客户端，并支持通过Grafana配置仪表盘，实现对延迟、吞吐量、GPU显存等关键指标的实时监控。用户可以通过直观的可视化界面，快速了解模型推理过程中的各项指标变化情况，及时发现异常并进行调整。

综上，KOS AI版通过融合混合算力、AI软件栈深度集成、推理过程高度可观测，实现“模型开发与训练-推理环境搭建-推理服务部署与运行”的全流程优化，支撑用户快速构建智能化AI应用。