基于多个大语言模型微调的中文意合图语义解析

Li Rang (李让)


Abstract
“中文意合图对句中成分间的关系进行层次化标注,能有效表示汉语的深层语义结构。传统方法难以对中文意合图中的特殊成分进行特征表示,而近期大语言模型性能的快速提高为复杂自然语言处理任务提供了一种全新思路。在本次任务中,我们尝试使用Prompt-Response方式对大模型进行LoRA微调,让大模型根据输入直接生成格式化的中文意合图三元组序列。我们广泛测试来自不同研发团队、拥有不同参数规模的七个主流大模型,评估基座模型、参数规模、量化训练等因素对微调后模型性能的影响。实验表明,我们的方法展现出远超依存模型的性能,在测试集和盲测集上的F1分别为0.6956和0.7206,获得了本次评测榜一的成绩。”
Anthology ID:
2024.ccl-3.5
Volume:
Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 3: Evaluations)
Month:
July
Year:
2024
Address:
Taiyuan, China
Editors:
Hongfei Lin, Hongye Tan, Bin Li
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
43–50
Language:
Chinese
URL:
https://aclanthology.org/2024.ccl-3.5/
DOI:
Bibkey:
Cite (ACL):
Li Rang. 2024. 基于多个大语言模型微调的中文意合图语义解析. In Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 3: Evaluations), pages 43–50, Taiyuan, China. Chinese Information Processing Society of China.
Cite (Informal):
基于多个大语言模型微调的中文意合图语义解析 (Rang, CCL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.ccl-3.5.pdf