【报告内容】

汇报人： 江健章

汇报单位：福建理工大学

Multimodal Sentiment Analysis Based on 3D Stereoscopic Attention

1、Introduction

2、Method

3、Experiments

4、Conclusion

【报告总结】

1.待解决的问题描述

1）当前多模态（文本、音频、视觉）情感分析中，现有方法多聚焦双模态交互，未能充分挖掘三模态间的情感关联。

2）其次是模态异步性，相同情感在不同模态时间步不同步（如微笑与积极文字不同步），也就是异步序列问题。

3）三维立体注意力构建存在维度上升导致的算法复杂度增加问题。

4）同时缺乏基于三维立体注意力有效融合各模态时序信息的机制，影响情感分析的准确性和全面性。

2.相关创新方案

1）首次提出三维立体注意力的概念，以充分探索模态之间的情感相互作用。

2）设计一种渐进式立体注意力构建方法，构建和优化时间步长层面模态之间的注意力权重，先通过双模态交叉注意力获取统一表征，再与第三模态融合生成三维立体注意力，解决维度上升带来的复杂度问题。

3）为了充分整合每种模态的个体信息，提出了一种前向传播，利用另外两模态的信息调制当前模态特征，结合层归一化和全连接层优化表征，保障模态信息的充分整合。

3.实验总结

本文首次提出多模态立体注意力的概念，以探索文本、音频和视频模态之间的情感相互作用。同时，提出了一种构建立体注意力的渐进式方法和基于前向传播的融合策略，以提高MSA任务的性能。在两个公共数据集上的实验结果表明，方法在所有指标上都优于基线。

4.未来工作

1）在未来的工作中，优化三维立体注意力的构建方法，进一步降低算法复杂度；

2）将该注意力机制拓展应用到更多不同类型的多模态任务中，扩大其适用范围。

报告时间：2025年11月14日19:30

腾讯会议：311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)