缓解上下文词嵌入中的性别偏差
词嵌入在处理众多自然语言处理相关任务时,成果斐然。然而,词嵌入也会捕捉到社会中常见的刻板偏见,从而影响其在下游任务中的预测表现。尽管针对静态嵌入已提出了多种技术,也有批评之声,但致力于减轻上下文嵌入偏差的工作却寥寥无几。本文为 MLM(掩码语言模型)提出了全新
词嵌入在处理众多自然语言处理相关任务时,成果斐然。然而,词嵌入也会捕捉到社会中常见的刻板偏见,从而影响其在下游任务中的预测表现。尽管针对静态嵌入已提出了多种技术,也有批评之声,但致力于减轻上下文嵌入偏差的工作却寥寥无几。本文为 MLM(掩码语言模型)提出了全新