基于指令微调与数据增强的儿童故事常识推理与寓意理解研究

Yu Bohan (于博涵), Li Yunlong (李云龙), Liu Tao (刘涛), Zheng Aoze (郑傲泽), Zhang Kunli (张坤丽), Zan Hongying (昝红英)


Abstract
“尽管现有语言模型在自然语言处理任务上表现出色,但在深层次语义理解和常识推理方面仍有提升空间。本研究通过测试模型在儿童故事常识推理与寓意理解数据集(CRMUS)上的性能,探究如何增强模型在复杂任务中的能力。在本次任务的赛道二中,本研究使用多个7B以内的开源大模型(如Qwen、InternLM等)进行零样本推理,并选择表现最优的模型基于LoRA进行指令微调来提高其表现。除此之外,本研究还对数据集进行了分析与增强。研究结果显示,通过设计有效的指令格式和调整LoRA微调参数,模型在常识推理和寓意理解上的准确率显著提高。最终在本次任务的赛道二中取得第一名的成绩,该任务的评价指标Acc值为74.38,达到了较为先进的水准。”
Anthology ID:
2024.ccl-3.36
Volume:
Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 3: Evaluations)
Month:
July
Year:
2024
Address:
Taiyuan, China
Editors:
Hongfei Lin, Hongye Tan, Bin Li
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
320–326
Language:
Chinese
URL:
https://aclanthology.org/2024.ccl-3.36/
DOI:
Bibkey:
Cite (ACL):
Yu Bohan, Li Yunlong, Liu Tao, Zheng Aoze, Zhang Kunli, and Zan Hongying. 2024. 基于指令微调与数据增强的儿童故事常识推理与寓意理解研究. In Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 3: Evaluations), pages 320–326, Taiyuan, China. Chinese Information Processing Society of China.
Cite (Informal):
基于指令微调与数据增强的儿童故事常识推理与寓意理解研究 (Bohan et al., CCL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.ccl-3.36.pdf