浪潮信息研发团队类脑视觉技术新突破获PRCV 2025挑战赛卓越成果奖

日前，浪潮信息“基于脉冲相机时空增强的联合优化”项目，获得了中国模式识别与计算机视觉大会PRCV 2025超高速脉冲视觉挑战赛唯一的卓越成果奖，PRCV是由中国计算机学会等四大学会联合主办的国内顶级学术会议，这是PRCV大会举办8年来，第一次把奖项颁给类脑视觉领域。

超高速脉冲视觉挑战赛鼓励参与者在新型感知应用与算法、真实场景下具有泛化能力的脉冲数据集或增强模拟器工具等方向进行探索，推动脉冲视觉从研究走向应用。针对高速场景下复杂建筑影像难以清晰捕捉的难题，浪潮信息研发团队提出的时空增强联合优化框架在图像构建能力方面取得了新的突破，室内复杂场景中峰值信噪比提升2.3%，显著提升脉冲相机图像清晰度，性能达国际一流水平。

图像构建，脉冲相机的技术瓶颈

脉冲相机是类脑视觉领域的最新技术，2015年理论模型才被提出。传统相机采用定时曝光方式获得静态图像或视频，高速运动捕捉能力有限，脉冲相机依靠感光器上集成的海量像素级感光点来模拟人类视网膜的神经元，每个感光点把接收的光子流转换成脉冲电子流，形成脉冲流阵列，截取任意时刻的阵列流，就可以得到高速运动物体的细节。所以，脉冲相机最高能够实现每秒4万帧的超高速摄影，在自动驾驶等高速运动场景有着广阔的应用前景。

但是由于脉冲相机的数据形式全新，传统图像算法和评估机制难以直接适用，亟需开发和升级适配脉冲数据的新型视觉算法。从阵列脉冲流到输出最终图像/视频，需要经历图像重建、相机定位、3D建模和最终优化4个环节。当前的算法水平普遍不高，一方面从脉冲流阵列中捕捉时间和空间信息的能力有限，另一方面，进行时空建模的能力也不高，尤其是最终优化的误差控制、优化效率等方面亟待提高，这些问题限制了成像质量，也限制了脉冲相机的应用。

新框架，时空增强，联合优化

浪潮信息工程师从空间、时间和优化框架三个方面着手，提出了一种时空增强的USP-Gaussian计算框架。

空间层面，该框架在USP-Gaussian的基础上，引入了多尺度空间信息融合机制，以更好地捕捉事件流中的多尺度空间语义信息；

时间层面，设计了带可学习参数的加权显式时间表征，通过标准化时间位置向量与可学习参数，动态调整不同时间步权重，精准提取脉冲流时间关联性，为图像生成提供了高质量的时间信息；

优化框架层面，建立了新的优化框架，将上述时间、空间模块深度嵌入整体框架，让图像重建、相机定位、3D建模三个环节基于高质量时空信息协同优化，避免分阶段误差累积，也避免了3D建模与时空信息协同不足的问题。

1.多尺度融合突破空间信息捕捉能力限制

在原始的3x3卷积核基础上，新框架融入了5x5和7x7卷积核，突破了传统堆叠卷积架构的单尺度局限，并借助1×1卷积降低特征通道维度，实现跨尺度特征的自适应融合——既避免了单一尺度特征的局限性（仅能捕捉场景中某一尺度的特征，比如小尺度的细节纹理或者大尺度的整体轮廓等），又防止了多尺度特征直接叠加导致的信息干扰，让算法能更全面、精准地提取脉冲流中的空间语义信息，为后续3D重建提供更优质的图像基础。

多尺度空间融合机制也让脉冲相机的主流应用场景从单一物体的高速运动捕捉延伸到了更广泛的现实场景，因为现实中大部分场景都是小、中、大尺度元素共存，以下文中采用的测试场景户外游泳池为例，不仅包含泳池边缘的瓷砖纹理、水面漂浮的小型物体等小尺度细节，也包含泳池的池体轮廓、周边的遮阳伞等中尺度结构，以及泳池所在的庭院、远处的建筑或自然景观等大尺度环境。

2.可学习权重参数的显式时间编码，解决 “时间模糊” 问题

在脉冲相机生成的图像中，飞机等高速运动物体照片极易模糊，主要原因是当前的算法普遍是“时间盲”，关注数据的内容特征，却无法捕捉数据的时间顺序，更没法分清 “哪个瞬间的画面更重要”，要么是把所有瞬间的信息平均对待，造成边缘不清，要么是只模糊地看时间顺序，造成边缘拖影。