2026年11月13日:Cross-modal Prompting for Balanced Incomplete Multi-modal Emotion Recognition

  • 主页 /
  • 通知公告 /
  • 通知公告

2026年11月13日:Cross-modal Prompting for Balanced Incomplete Multi-modal Emotion Recognition

【报告内容】

汇报人: 汪玄钦

汇报单位:福建理工大学

主题:Cross-modal Prompting for Balanced Incomplete Multi-modal Emotion Recognition

1、Introduction

2、Method

3、Experiments

4、Conclusion

【报告总结】

1.待解决的问题

多模态情感识别通常假设一条样本能够同时提供文本、音频和视频信息。但现实数据并不满足这一假设。背景噪声可能使音频模态失真,严重口音可能导致语音识别失败,并进一步影响文本模态;视频质量较差时,视觉信息也可能不可用。模态缺失一方面减少了可用于判断情感的信息,另一方面破坏了不同模态之间的一致性,使模型更难获得稳定、准确的预测。

论文进一步指出,不完整数据会放大多模态训练中的模态不平衡。这里包含两类现象。

第一类是模态性能差距(Modality Performance Gap)。不同模态对情感信息的表达能力不同,某些模态在训练中更容易成为主导模态,弱模态则没有得到充分利用。模型最终可能主要依赖某个强模态,其他模态提供的信息没有进入有效决策。

第二类是模态欠优化(Modality Under-optimization)。论文 Figure 1(a) 显示,视频和文本在单模态训练中本身具有较好的表现,但在多模态联合训练后性能反而下降。这说明多模态训练并不必然给每个分支带来收益,强模态可能压制弱模态,优化过程也可能偏离单模态原本有效的表示。

现有方法主要有两条路线。重建式方法先恢复缺失数据,再把恢复后的数据交给后续模型。这类方法有直观的合理性,但显式重建通常需要额外计算,而且恢复内容未必与情感任务相关,也可能引入噪声。另一条路线是多模态平衡学习,通过调整优化过程或引导弱模态学习来缩小模态差距。然而,现有平衡方法大多针对完整模态场景,没有充分考虑缺失样本对模态平衡的进一步影响。

2.相关创新方案

ComP 的基本流程是:先分别提取音频、文本和视频特征,再通过渐进式提示生成(PG)把模态知识压缩成提示,通过跨模态知识传播(KP)把提示送到其他模态,最后由多模态协调器(Cr)动态加权并完成分类。

模型采用两阶段训练。第一阶段分别训练各模态的特征更新函数、编码器和单模态分类器,先建立每个模态的基本判别能力。第二阶段加入提示生成和跨模态传播,使各模态共享一致性信息,并通过协调器完成动态融合。

3.实验总结

论文在四个公开数据集上验证 ComP:CMU-MOSI、CMU-MOSEI、IEMOCAPFour 和 IEMOCAPSix。由于原始数据均为完整数据,实验通过随机删除部分样本构造缺失场景。缺失率(MR, Missing Rate)设置为 0.1 至 0.7,每个样本至少保留一个模态。

IEMOCAP 使用加权准确率(ACC)和无加权准确率(UA)评价,CMU-MOSI 与 CMU-MOSEI 使用 ACC 和 F1 评价。对比方法包括 MCTN、MMIN、GCNet、DiCMoR、IMDer、MoMKE 和 SDR-GNN,共 7 个方法。各方法使用相同特征进行公平比较。

论文还绘制了三个数据集上的单模态性能随训练轮次变化的曲线。进入第二阶段、引入跨模态知识传播后,音频、文本和视频分支均出现明显提升。图中虚线表示单独训练,实线表示联合训练;对同一模态而言,联合训练的实线总体高于单独训练。这一现象说明,多模态训练能够反哺每个单模态分支,从而缓解模态欠优化。

结合 t-SNE 和单模态曲线,可以更准确地理解 ComP 的贡献。总体性能提升来自最终融合,也来自每个模态分支判别能力的改善。前者由 Cr 负责,后者主要由 PG 和 KP 共同完成。

4.未来工作

1)扩展缺失模式。 当前实验主要采用随机删除构造缺失数据,未来可以研究模态相关、时间连续和场景相关的真实缺失模式,例如整段视频持续缺失、语音识别连续失败或特定说话人环境下的系统性缺模态。

2)改进缺失输入表示。 当前方法通过零值填充和掩码避免缺失数据带来的噪声,未来可以探索可学习的缺失标记、缺失类型编码和不确定性建模,让模型显式区分“没有观察到”和“观察到但信息无效”这两种情况。

3)支持动态模态集合。 当前研究主要针对音频、文本和视频三个固定模态,未来可以扩展到任意数量模态、模态临时加入或退出,以及只有两个模态可用的场景。

报告时间:2026年11月13日19:30

腾讯会议:311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码:iipr)