浪潮信息研究团队：改善异质模型融合的性能退化、实现跨模态性能翻番的新方法

模态对齐与融合一直是多模态模型开发面临主要的技术挑战之一。跨模态模型融合往往带来的不是性能改善，而是性能退化，因为不同的神经网络架固有的信息处理模式差异很大，如同高铁网与公路网一样。

日前，浪潮信息技术团队在进行手势认证算法研究时，基于归一算法创造了一种事件流数据特征编码框架，解决了脉冲网络模型（SNNs）与人工神经网络模型（ANNs）的融合难题，新模型在保证鲁棒性的前提下，将认证系统的核心指标——等错误率EER（衡量手势认证准确率的技术指标，越低越好）优化至当前最低水平5%，较传统方法准确性翻倍。新算法为不同模态、规模的模型融合提供了全新的技术思路。

引入事件相机 遭遇异质模型融合的性能退化挑战

现在手势认证的数据类型主要有RGB、深度图等静态数据，难以精准捕捉瞬时动态轨迹，光流/轨迹等动态数据是原始RGB/深度图等静态数据通过复杂算法计算生成的动态数据，虽然含有动态信息，但是与原始数据的信息重合度很高，新增信息量有限。为了解决数据层面的动态信息捕捉能力不足问题，浪潮信息研究团队将事件相机（Event Camera）引入到手势认证领域。事件相机采集的事件数据流是毫秒级的动态事件记录，从而与RGB 图像的静态语义信息形成完美互补。

事件流数据非常稀疏，而且是异步数据，目前用于处理RGB数据的主流人工神经网络模型I3D等在提取事件流数据特征方面效果并不理想。在基于论文RGB-E数据集测试中，I3D模型在正常采光条件下等错误率EER高达0.263，背光条件下EER高达0.37，几乎不可用。所以，事件流数据必须引入专门的脉冲神经网络来处理，这需要完成人工神经网络与脉冲神经网络的融合，由于两种神经网络架构的信息处理模式差异很大，直接融合带来明显的模型性能退化。

创新归一算法，解决异质模型融合的性能退化挑战

经过研究，两种模型的融合之所以会带来的性能退化，是因为两种模型最终输出的特征向量相似度采用了不同的尺度，相当于两个模型分别用英里和千米来度量距离，直接进行计算会成倍放大误差。

浪潮信息研究团队设计了全新的异质模型架构，RGB数据由I3D模型处理，事件流数据由 Spikingformer 脉冲神经网络模型处理。并且，浪潮信息研究团队开发了一种创新的事件流数据特征编码框架，创新了异质模型的融合方法。新方法引入了最大最小归一化算法（MaxMin normalization），将两个模型输出的特征向量相似度取余弦距离，使其映射到 [0,1] 区间，然后进行融合计算，从而解决了异质模型融合带来的性能退化问题。

异质模型架构