WinoPron: Revisiting English Winogender Schemas for Consistency, Coverage, and Grammatical Case

要約

共参照分解能のバイアスとロバスト性を測定することは重要な目標ですが、そのような測定は、測定に使用するツールと同じくらい優れています。
Winogender スキーマ (Rudinger et al., 2018) は、共参照解決におけるジェンダーバイアスを評価するために提案された影響力のあるデータセットですが、詳しく見てみると、異なる代名詞形式を同等のものとして扱うことや、規則に違反することなど、信頼性の高い評価のためのその使用を損なうデータの問題が明らかになります。
テンプレートの制約とタイプミス。
私たちはこれらの問題を特定して修正し、新しいデータセット WinoPron を提供します。
私たちの変更は、最先端の教師あり共参照解決システムと言語モデル FLAN-T5 のすべてのモデル サイズのパフォーマンスに影響を与え、F1 は平均 10 パーセント ポイント低下しました。
また、バイナリを超えた共参照解像度における代名詞バイアスを評価する新しい方法も提案します。
この方法と、文法的な場合のバランスがとれた新しいデータセットを使用して、バイアス特性が代名詞セット間だけでなく、それらのセットの表層形式間でも異なることを経験的に示します。

要約(オリジナル)

While measuring bias and robustness in coreference resolution are important goals, such measurements are only as good as the tools we use to measure them with. Winogender schemas (Rudinger et al., 2018) are an influential dataset proposed to evaluate gender bias in coreference resolution, but a closer look reveals issues with the data that compromise its use for reliable evaluation, including treating different pronominal forms as equivalent, violations of template constraints, and typographical errors. We identify these issues and fix them, contributing a new dataset: WinoPron. Our changes affect performance with state-of-the-art supervised coreference resolution systems as well as all model sizes of the language model FLAN-T5, with F1 dropping on average 10 percentage points. We also propose a new method to evaluate pronominal bias in coreference resolution that goes beyond the binary. With this method and our new dataset which is balanced for grammatical case, we empirically demonstrate that bias characteristics vary not just across pronoun sets, but also across surface forms of those sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google