基于多任务多模态交互学习的情感分类方法(Sentiment classification method based on multitasking and multimodal interactive learning)

Peng Xue (薛鹏), Yang Li (李旸), Suge Wang (王素格), Jian Liao (廖健), Jianxing Zheng (郑建兴), Yujie Fu (符玉杰), Deyu Li (李德玉)


Abstract
“随着社交媒体的快速发展,多模态数据呈爆炸性增长,如何从多模态数据中挖掘和理解情感信息,已经成为一个较为热门的研究方向。而现有的基于文本、视频和音频的多模态情感分析方法往往将不同模态的高级特征与低级特征进行融合,忽视了不同模态特征层次之间的差异。因此,本文采用以文本模态为中心,音频模态和视频模态为补充的方式,提出了多任务多模态交互学习的自监督动态融合模型。通过多层的结构,构建了单模态特征表示与两两模态特征的层次融合表示,使模型将不同层次的特征进行融合,并设计了从低级特征渐变到高级特征的融合策略。为了进一步加强多模态特征融合,使用了分布相似性损失函数和异质损失函数,用于学习模态的共性表征和特性表征。在此基础上,利用多任务学习,获得模态的一致性及差异性特征。通过在CMU-MOSI和CMU-MOSEI数据集上分别实验,实验结果表明本文模型的情感分类性能优于基线模型。”
Anthology ID:
2023.ccl-1.28
Volume:
Proceedings of the 22nd Chinese National Conference on Computational Linguistics
Month:
August
Year:
2023
Address:
Harbin, China
Editors:
Maosong Sun, Bing Qin, Xipeng Qiu, Jing Jiang, Xianpei Han
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
315–327
Language:
Chinese
URL:
https://aclanthology.org/2023.ccl-1.28
DOI:
Bibkey:
Cite (ACL):
Peng Xue, Yang Li, Suge Wang, Jian Liao, Jianxing Zheng, Yujie Fu, and Deyu Li. 2023. 基于多任务多模态交互学习的情感分类方法(Sentiment classification method based on multitasking and multimodal interactive learning). In Proceedings of the 22nd Chinese National Conference on Computational Linguistics, pages 315–327, Harbin, China. Chinese Information Processing Society of China.
Cite (Informal):
基于多任务多模态交互学习的情感分类方法(Sentiment classification method based on multitasking and multimodal interactive learning) (Xue et al., CCL 2023)
Copy Citation:
PDF:
https://aclanthology.org/2023.ccl-1.28.pdf