【报告内容】

汇报人： 高晨俣

汇报单位：福建理工大学

《TCHFN: Multimodal sentiment analysis based on Text-Centric HierarchicalFusion Network》

1、Introduction

2、Method

3、Experiments

4、Conclusion

【报告总结】

1.待解决的问题描述

当前多模态情感分析模型面临以下挑战：

1）文本、图像等模态在信息表达上的不一致性，导致融合困难。

2）跨模态间的冗余和噪声信息干扰情感特征提取。

3）现有模型在融合阶段缺乏对文本主导的语义引导，影响最终分类准确率。

因此，需要一种能更有效捕捉各模态语义并进行优化融合的框架。

2.相关创新方案

本研究提出了一种以文本为核心的多模态情感分析方法——Text-Centric Hierarchical Fusion (TCHF)，其主要创新包括：

1）文本引导的模态语义对齐模块（TASM）：以文本为主导引导图像语义，利用Transformer架构实现文本与图像之间的深层语义对齐。

2）层次融合模块（HFM）：通过残差机制融合模态间对齐后的信息，在不同语义层级上提升信息交互效率。

3）模态选择机制（MSM）：在融合过程中自动评估和调整不同模态的权重，提高对冗余和无效信息的鲁棒性。

3. 实验总结

1）在 MVSA-Single、MVSA-Multiple 和 TumEmo 三个多模态情感分析公开数据集上进行了实验。

2）与主流模型（如MHA、ViLBERT、CLIP、FLIC等）对比，TCHF在准确率（Accuracy）、F1分数等多个指标上均显著优于基线方法。

3）消融实验验证了TASM、HFM 和 MSM 各模块对性能提升的有效性。

4）可视化结果表明，TCHF能更好地关注关键文本和图像区域，实现精准的情感预测。

4.未来工作

1）探索将音频等其他模态纳入TCHF框架，扩展其多模态处理能力

2）在更复杂的社交媒体环境下评估TCHF的鲁棒性与泛化性能。

3）结合预训练多模态大模型进一步优化模型表现。

4）针对实时应用场景，优化模型推理效率与计算资源占用。

报告时间：2025年05月16日19:30

腾讯会议：311-5999-8176

点我下载本讨论课相关文献或PPT吧~(提取码：iipr)