【报告内容】

汇报人： 江健章

汇报单位：福建理工大学

主题：CMAD: Correlation-Aware and Modalities-Aware Distillation for Multimodal Sentiment Analysis with Missing Modalities

1、Introduction

2、Method

3、Experiments

4、Conclusion

【报告总结】

1. 待解决的问题描述

本文关注模态缺失场景下的多模态情感分析问题。现实应用中，语言、音频、视觉等模态可能因采集条件、隐私限制或噪声干扰而缺失，导致传统依赖完整模态的模型性能明显下降。现有重建类方法通常需要针对不同模态组合设计或训练多个模型，部署成本较高；知识蒸馏类方法虽然更灵活，但往往只进行简单特征对齐，难以保持教师模型语义空间中的高阶关系，同时模型训练容易偏向语言等简单模态组合，忽略音频、视觉等困难组合。

2、相关创新方案

论文提出 CMAD 框架，包含 CAFD 和 MAR 两个核心模块。CAFD 通过特征一致性、正样本相关性对齐和全局样本结构对齐，使缺模态 Student 不仅学习全模态 Teacher 的单样本表示，还学习教师语义空间中的样本关系结构。MAR 则根据 Teacher 与 Student 的损失差异消除样本本身难度，估计不同模态组合的真实困难程度，并为困难组合分配更高训练权重，从而缓解简单组合主导训练的问题。

3、实验总结

论文在 MOSEI、IEMOCAP、MUStARD、UR-FUNNY 和 CHERMA 五个多模态情感/情绪数据集上进行了实验。结果表明，CMAD 在多种模态缺失组合下整体优于重建类方法和已有知识蒸馏方法。消融实验进一步证明，CAFD 有助于缓解师生表示不一致，MAR 对平衡不同模态组合的训练贡献更明显，二者结合能够提升模型在简单组合和困难组合上的整体鲁棒性。

4、未来工作

论文目前仍未充分考虑 Teacher 模型内部不同模态贡献不均的问题，尤其是语言模态可能在 Teacher 中占据主导地位，进而影响蒸馏效果。未来可以进一步研究教师模型中的模态贡献平衡机制，使教师提供的知识更加全面，并探索在更复杂、更真实的模态缺失和噪声环境下提升模型泛化能力。

报告时间：2026年07月17日19:30

腾讯会议：311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)