新闻动态
当前位置:首页 > 新闻动态
浪潮信息KOS推出DeepSeek软硬协同加速方案, 分钟级部署+GPU利用率提升10%!
2025-05-23

DeepSeek凭借其领先的技术优势,成为行业智能化升级的重要工具。然而,在实际应用DeepSeek过程中,企业面临着诸多挑战,复杂的部署流程增加了实施难度,有限的资源限制了模型的高效运行,而数据安全与隐私保护问题更是亟待解决的痛点。1.jpg

针对这些挑战,浪潮信息云峦KeyarchOS(简称KOS)推出了DeepSeek软硬协同加速方案。首先,方案提供了一键部署工具集,实现DeepSeek分钟级高效部署;其次,方案通过软硬协同优化,将单用户调用tokens/s提升超过30%,GPU利用率提升10%,DeepSeek-R1 671B模型的非首次加载时长缩短90%以上;最后,方案构建了以机密计算、可信计算与eBPF为核心的安全防护机制,有效保障了数据隐私性与完整性。

企业加速应用DeepSeek 面临部署、性能与安全挑战

自DeepSeek问世以来,企业纷纷利用其先进技术架构与算法来开发、优化自身业务,以期提供更优的产品与服务。然而,在DeepSeek实际应用过程中,企业往往面临着部署复杂、性能瓶颈与安全风险等方面痛点。

首先,DeepSeek的适配与部署过程相对复杂,企业需投入大量时间与技术资源完成从模型选择到环境配置的全流程优化。DeepSeek的技术架构对软硬件环境要求较高,企业需要在不同平台与框架之间进行复杂的适配工作,比如根据实际业务需求,对模型的输入输出接口、数据格式以及运行环境进行定制化调整。此外,DeepSeek本地部署还涉及多种技术栈的协同,包括Python环境配置、依赖库安装以及模型加载。这些复杂的适配与部署工作不仅增加了开发成本,还延缓了业务上线的速度。

其次,企业在采用DeepSeek进行训练与推理时,往往难以充分释放硬件资源性能,造成时间、人力与资金的浪费。DeepSeek凭借底层范式的创新,已大幅降低模型训练与推理对硬件资源的要求,但实际应用时CPU与GPU的利用率仍然有限。这需要专业的软硬件人员花费大量时间进行协同优化,造成硬件资源以及人力、时间的浪费。例如,在使用某双路服务器进行CPU+GPU混合算力推理时,单用户调用的解码速度较低,难以满足生产级应用的要求,且GPU利用率仅为21%。对于1TB模型,非首次从磁盘加载时长超过3小时,即使切换为SSD,其加载时长仍需40分钟以上。这制约了企业使用DeepSeek的效率与成本效益,亟需更高效的方案来打破性能瓶颈。

最后,企业使用DeepSeek时面临敏感信息泄露风险、多租户数据隔离难题与多模态数据管理复杂性,亟需保障数据隐私性与完整性。随着DeepSeek在智能客服、金融分析、内容创作等领域的广泛应用,企业需要处理大量敏感信息,如客户咨询记录、金融交易数据与个人隐私信息等。这些数据在存储、传输与处理过程中存在泄露风险,尤其是在多租户环境中,数据隔离与访问控制的难度进一步增加。此外,DeepSeek支持多模态输入与跨模态任务处理,这使得数据来源更加复杂,数据安全管理难度增大。企业亟需通过有效手段,在使用DeepSeek的过程中保障数据的隐私性与完整性。

上述痛点影响了企业采用DeepSeek开展业务创新的进程,导致项目上线周期延长、成本增加,还可能因为数据处理延迟、功能受限等,引发用户体验下滑,最终阻碍企业在AI领域的深入发展与布局。

一键部署、软硬协同、全面防护 KOS助力DeepSeek高效应用

KOS凭借大模型训练环境快速部署的实践经验,开发了一键部署工具集,实现DeepSeek分钟级上线。在某大型项目中,KOS仅用20分钟就成功上线了200节点的训练环境。基于这些经验,KOS通过优化镜像构建与部署流程,解决DeepSeek部署过程中的硬件兼容适配、复杂依赖关系、驱动编译安装等问题,并将DeepSeek部署应用所需系统环境、依赖项、驱动及中间件等打包整合,开发了DeepSeek一键部署工具集,用户可通过PXE方式完成KOS的自动化安装,在系统安装的同时,即可完成DeepSeek的一键部署、开箱即用。这不仅降低了企业使用DeepSeek的技术门槛,还极大提升了项目启动速度,助力企业在AI业务创新中抢占先机。

KOS采用NUMA、内存大页及CXL内存拓宽等技术进行软硬协同调优,实现DeepSeek开箱即优。KOS通过NUMA技术优化内存访问路径,减少了内存延迟,提高了多核处理器的效率;采用内存大页技术减少页表项的数量,降低了内存管理的开销,进一步提升内存访问速度;利用CXL内存拓宽技术为系统提供更高效的内存空间,使得大规模数据处理更加高效。通过上述软硬一体化调优,KOS充分释放了CPU与GPU的性能潜力,与业界同类产品相比,单用户调用tokens/s提升超30%,有效满足生产级应用需求,同时GPU利用率提升10%。同时,在推理服务升级、配置优化生效等生产场景下,KOS将DeepSeek-R1 671B模型的非首次加载时长从将近1小时缩短至3-5分钟,整体提升90%以上,这大幅减少了DeepSeek在推理过程中的中断间隔,提高推理服务的可用性,从而增强企业上层AI业务应用的用户体验。

KOS将可信计算、eBPF安全及机密计算“三驾马车”融为一体,构建可信的DeepSeek全栈运行环境,提供全方位数据安全与隐私保护。KOS的可信能力为DeepSeek提供了从硬件到软件层面的完整安全验证机制,确保数据在存储、传输与处理过程中的完整性及安全性,在多租户环境下能够有效防止数据泄露与非法访问。同时,KOS通过机密计算为DeepSeek运行创建了芯片级硬件隔离的可信执行环境(TEE),确保在DeepSeek处理与存储数据期间,数据始终处于加密状态,即使在内存中也无法被非法访问或篡改。此外,KOS通过eBPF技术提供了低开销、内核零侵入的安全监控与访问控制能力,支持灵活的访问控制策略,能够根据DeepSeek的多模态输入与跨模态任务处理需求对安全策略进行定制,降低数据安全管理的复杂性。

KOS通过一键部署工具集、软硬一体化调优及“三驾马车”安全防护机制,显著提升了DeepSeek的部署效率、应用性能,并为数据隐私与模型安全提供了可靠的保障,为行业采用DeepSeek开展业务创新与智能化转型提供了有力支持。

关注我们

Copyright © 2024 浪潮信息 鲁ICP备13028953号-12

售前咨询

售后服务

回到顶部

回到顶部

售前咨询
售后服务