Revisiting English Winogender Schemas for Consistency, Coverage, and Grammatical Case

要約

共参照分解能のバイアスとロバスト性を測定することは重要な目標ですが、そのような測定は、測定に使用するツールと同じくらい優れています。
Winogender スキーマ (Rudinger et al., 2018) は、共参照解決におけるジェンダーバイアスを評価するために提案された影響力のあるデータセットですが、データを詳しく見ると、代名詞の異なる文法格の処理など、信頼性の高い評価のためのスキーマの使用を損なう事例の問題が明らかになります。
同様に、テンプレートの制約違反やタイプミスも同様です。
私たちはこれらの問題を特定して修正し、新しいデータセット Winogender 2.0 を提供します。
私たちの変更は、最先端の教師あり共参照解決システムと言語モデル FLAN-T5 のすべてのモデル サイズのパフォーマンスに影響を与え、F1 は平均 0.1 ポイント低下しました。
また、バイナリを超えた共参照解像度における代名詞バイアスを評価する新しい方法も提案します。
この方法と、文法的な場合のバランスがとれた新しいデータセットを使用して、バイアス特性が代名詞セット間だけでなく、それらのセットの表層形式間でも異なることを経験的に示します。

要約(オリジナル)

While measuring bias and robustness in coreference resolution are important goals, such measurements are only as good as the tools we use to measure them with. Winogender schemas (Rudinger et al., 2018) are an influential dataset proposed to evaluate gender bias in coreference resolution, but a closer look at the data reveals issues with the instances that compromise their use for reliable evaluation, including treating different grammatical cases of pronouns in the same way, violations of template constraints, and typographical errors. We identify these issues and fix them, contributing a new dataset: Winogender 2.0. Our changes affect performance with state-of-the-art supervised coreference resolution systems as well as all model sizes of the language model FLAN-T5, with F1 dropping on average 0.1 points. We also propose a new method to evaluate pronominal bias in coreference resolution that goes beyond the binary. With this method and our new dataset which is balanced for grammatical case, we empirically demonstrate that bias characteristics vary not just across pronoun sets, but also across surface forms of those sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google