新闻动态
当前位置:首页 > 新闻动态

元脑KOS与德拓DATRIX推出AI数据湖方案 毫秒级AI分析加速任务处理

2025-07-30

数字化浪潮中,越来越多的企业将“数据-算法-决策”闭环嵌入核心业务流程:金融科技公司利用客户画像实现精准营销,电商平台依靠点击流实现个性推荐,医疗企业借助影像与基因数据进行疾病预测……当数据成为企业经营的基础,数据量级从“TB级档案柜”膨胀到“PB级生产要素”时,企业也面临着全新技术挑战。

为了满足AI大模型低延迟推理与高吞吐训练并存的需求,企业混用CPU、GPU、FPGA、ASIC等异构芯片,硬件差异带来了调度、功耗与故障治理问题;目前80%以上的新增数据为非结构化的影像、语音、时序流等,系统需在千万级文件规模下实现高效读写与可靠存储;同时,企业对数据安全和业务效率存在双重需求,传统安全机制往往对性能产生负面影响。1.jpg为此,浪潮信息元脑服务器操作系统KeyarchOS(简称KOS)联合德拓智能数据管理平台DATRIX,推出具备“底层融合、算力增效、数据智用、安全可信”能力的AI数据湖解决方案。方案通过一体化架构整合异构资源,实现多元算力协同共享,将AI分析响应时间稳定在毫秒级别;通过文件系统、存储与内核深度优化,实现海量非结构化数据高效读写与可靠存储;采用基于国密算法的硬件加速技术,加密效率达到工业级标准,兼顾安全性与实时性需求。

企业利用大数据面临资源管理、数据安全等多项挑战

在利用海量数据驱动业务智能决策的过程中,企业面临着异构硬件管理、AI算力瓶颈与非结构化数据安全等多项挑战。

首先,企业在进行AI数据分析时,底层复杂异构硬件难以统一调度,资源利用率降低,多元异构算力设备、不同厂商的服务器,在通信协议、接口标准及性能参数方面差异显著,加大了管理难度和适配复杂性。

其次,数据驱动场景对AI算力的实时性与灵活性提出更高要求。数据驱动型企业的业务场景(如图像识别、缺陷检测等),要求系统在短时间内快速处理海量数据并完成推理,一旦出现高负载情况,AI算力无法满足高速处理需求,资源分配灵活性不足,导致峰值时段性能塌陷或者低谷时段算力闲置。

再次,非结构化数据快速增长,影响模型训练效率与推理实时性。在大规模场景下,非结构化数据(如图像、视频、音频等)的存储和读取容易出现高延迟,导致训练阶段数据供给不足、训练效率降低;推理阶段实时性不足、业务响应速率降低。此外,非结构化数据体积大、格式杂,高并发场景下更易损坏或传输中断。

最后,要求安全机制具有高加密效率与细粒度权限管理。数据驱动型企业依赖高价值、高敏感性的数据资产进行决策、创新和运营,对数据的安全性有着极为严苛的要求。然而,AI业务需要快速处理大量数据,这不仅要求加密手段具备高效率,还要求安全机制支持灵活且细粒度的权限管理,以适应AI业务中涉及的多个角色(如数据工程师、业务分析师等)。

AI数据湖解决方案构建高效、自主数据基础设施

针对上述挑战,元脑KOS与德拓DATRIX联合推出AI数据湖解决方案。方案以“底层融合、算力增效、数据智用、安全可信”四大核心优势,构建高效、自主的数据基础设施,全面释放数据价值。

1.pngAI数据湖方案架构图

首先,通过一体化架构整合异构资源,实现硬件统一调度与智能管理。方案采用了一体化架构,将异构芯片与各类硬件资源整合成弹性资源池,实现统一调度与协同。同时,方案通过标准化接入与智能化调度能力,提供了“无感适配、即插即用”的数据管理底座,极大降低适配成本、缩短部署时间。此外,方案通过“热数据高速处理、冷数据智能归档”的自动分层机制,解决了资源利用不均衡问题,优化了数据处理与存储的效率。

其次,构建“智能调度+弹性算力”体系,保障AI算力实现按需调配。方案采用了智能算力编排技术,针对OCR识别、语音内容识别、图像分类等不同AI业务,根据计算复杂度、数据量、实时性要求等业务特性,动态分配CPU与GPU资源,确保AI分析响应时间稳定在毫秒级别,满足企业实时控制与决策需求。同时,方案采用了分布式部署架构,结合轻量化容器技术,实现AI组件秒级扩容,大幅提升集群硬件资源利用效率,避免设备闲置或过载。

第三,多方面深度优化,实现海量非结构化数据“读得快、存得好”。在文件系统方面,方案采取了智能缓存策略,通过智能算法与规则动态管理缓存内容,大幅提升高频访问文件的读取速度。在存储方面,方案结合数据冗余与纠删码技术,将数据可靠性提升至12个9级,同时有效降低数据存储空间需求及成本,确保数据的高可靠性。在内核方面,方案针对实时性、稳定性需求,进行了定制化内核参数调优,实现了数据读写性能与硬件资源消耗之间的平衡,确保各类业务流持续稳定运行。

最后,构建数据全生命周期防护屏障,同时保障安全性与实时性。方案采取基于国密算法的硬件加速技术,实现数据从采集、存储到传输的全流程加密,加密效率达到工业级标准,满足安全性与实时性需求。同时,方案提供细粒度权限控制能力,允许系统管理员对数据访问权限进行极其细致的管理,精确到每个文件、每个操作甚至每个数据字段,确保敏感信息仅限授权访问。此外,方案结合了内核级安全机制与应用层防护功能,有效保护系统免受勒索软件与恶意攻击,全面满足等保2.0要求。

日前,方案已成功应用于媒体、教育及车企行业。以某头部车企为例,在跨地域研发场景中,方案对底层异构硬件进行了统一管理与调度,实现异构数据的跨平台稳定传输与协同管理,数据同步效率提升超50%;在车辆质检场景中,方案通过“智能调度+弹性算力”模式,高效支持了海量图像的实时分析与工艺文档的语义理解,大幅提升质检效率与工艺优化速度;在研发中心实践中,方案能够高效应对PB级数据并行处理需求,显著提升大文件批量传输效率。

未来,浪潮信息与德拓信息将持续深化合作,以“底层技术创新+行业场景落地”双轮驱动,助力行业实现数据价值全面释放。

关注我们

Copyright © 2024 浪潮信息 鲁ICP备13028953号-12

售前咨询

售后服务

回到顶部

回到顶部

售前咨询
售后服务