Mingwei Fang
2025
例句质量评估体系构建及大语言模型例句生成能力评估
Mingwei Fang | Junhui Zhu | Luming Lu | Erhong Yang | Liner Yang
Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025)
Mingwei Fang | Junhui Zhu | Luming Lu | Erhong Yang | Liner Yang
Proceedings of the 24th China National Conference on Computational Linguistics (CCL 2025)
"本研究针对大语言模型(LLMs)生成例句的教学适用性问题,基于二语习得认知理论构建了多维例句质量评估体系,涵盖规范性、语境独立性、典型度、词汇适切性及句法复杂度五大核心维度。通过采集汉语词典与教材的优质例句作为基准语料,结合特征工程构建了机器学习模型(准确率为98.6%),验证了评估框架的有效性。在此基础上,本研究利用该评估框架对LLMs生成例句与传统人工编纂词典中的例句进行了系统对比分析。研究结果表明:LLMs在语法典型度、词汇难度、汉字笔画数方面展现出与传统词典例句相当的质量水平,而在语境独立性、语义典型度、词汇常用度方面仍存在一定不足。进一步研究发现,不同提示策略影响例句生成质量,其中融合语言特征约束型提示策略优化效果最佳。本研究首次实现LLMs生成例句教育适应性的量化评估,为智能语言教辅系统开发提供了兼具理论指导意义与实践应用价值的评估范式。"