基于大型语言模型的中文空间语义评测

Huo Shitu (霍世图), Wang Yujun (王钰君), Wu Tongjie (吴童杰)


Abstract
“本研究的任务旨在让大模型进行实体识别、角色识别、异常识别、信息推理、同义识别任务,综合评估大模型的空间语义理解能力。其中,我们使用普通提示词、工作流提示词和思维链三种提示词策略来探讨大模型的空间语义理解能力,最后发现ERNIE-4在1-shot的普通提示词上表现最佳。最终,我们的方法排名第六,总体准确率得分为56.20%。”
Anthology ID:
2024.ccl-3.11
Volume:
Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 3: Evaluations)
Month:
July
Year:
2024
Address:
Taiyuan, China
Editors:
Hongfei Lin, Hongye Tan, Bin Li
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
95–105
Language:
Chinese
URL:
https://aclanthology.org/2024.ccl-3.11/
DOI:
Bibkey:
Cite (ACL):
Huo Shitu, Wang Yujun, and Wu Tongjie. 2024. 基于大型语言模型的中文空间语义评测. In Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 3: Evaluations), pages 95–105, Taiyuan, China. Chinese Information Processing Society of China.
Cite (Informal):
基于大型语言模型的中文空间语义评测 (Shitu et al., CCL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.ccl-3.11.pdf