大语言模型开放性生成文本中的职业性别偏见研究(Generated by Large Language Models)

Zhang Xu (张旭), Guo Mengqing (郭梦清), Zhu Shucheng (朱述承), Yu Dong (于东), Liu Ying (刘颖), Liu Pengyuan (刘鹏远)


Abstract
“大语言模型问世以来,在自然语言处理诸多任务上都取得了惊人的表现。但其中可能存在的安全性和公平性问题也引起了人们的重视,特别是模型生成文本可能含有对特定职业、性别等群体的偏见和歧视。本文通过两种性别表征形式,构造了显性和隐性的”性别+职业“提示语,提示大语言模型生成开放性文本,并从情感极性、词汇丰富度和冒犯性程度三个维度对生成文本的偏见进行分析,评估并比较了传统模型与以ChatGPT为代表的大语言模型中的职业显性性别和隐性性别交叉偏见。结果表明,比起单维度的职业、性别身份信息,更复杂的职业性别交叉身份信息会减少ChatGPT生成文本中的偏见,具体表现为情感极性趋于中性,词汇丰富度提高;ChatGPT对于不同类型的职业性别身份展现出差异的态度,对研究型、艺术型等创造类的职业情感极性更高,对事务型、经管型等与人打交道的职业情感极性偏低;另外,ChatGPT相比之前的GPT-2模型在生成能力和消除偏见上有所进步,在多种组合身份提示下的生成文本更加积极、多样,冒犯性内容显著减少。”
Anthology ID:
2024.ccl-1.61
Volume:
Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 1: Main Conference)
Month:
July
Year:
2024
Address:
Taiyuan, China
Editors:
Maosong Sun, Jiye Liang, Xianpei Han, Zhiyuan Liu, Yulan He
Venue:
CCL
SIG:
Publisher:
Chinese Information Processing Society of China
Note:
Pages:
774–789
Language:
Chinese
URL:
https://aclanthology.org/2024.ccl-1.61/
DOI:
Bibkey:
Cite (ACL):
Zhang Xu, Guo Mengqing, Zhu Shucheng, Yu Dong, Liu Ying, and Liu Pengyuan. 2024. 大语言模型开放性生成文本中的职业性别偏见研究(Generated by Large Language Models). In Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 1: Main Conference), pages 774–789, Taiyuan, China. Chinese Information Processing Society of China.
Cite (Informal):
大语言模型开放性生成文本中的职业性别偏见研究(Generated by Large Language Models) (Xu et al., CCL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.ccl-1.61.pdf