Comparing Humans and Models on a Similar Scale: Towards Cognitive Gender Bias Evaluation in Coreference Resolution

要約

擬似相関は、さまざまな NLP タスク (性別や人種のアーチファクトなど) におけるモデルのパフォーマンスを説明する重要な要素であることが判明し、多くの場合、実際のタスクへの「近道」と考えられています。
しかし、人間も同様に、社会的および認知的前提に基づいて、すぐに (時には間違った) 予測を下す傾向があります。
この研究では、モデルのバイアスが人間の行動をどの程度反映するかを定量化できるか?という質問に取り組みます。
この質問に答えることは、モデルのパフォーマンスを明らかにし、人間との有意義な比較を提供するのに役立ちます。
私たちは、人間の意思決定の二重プロセス理論のレンズを通してこの問題にアプローチします。
この理論は、自動的な無意識（そして時には偏った）「速いシステム」と、トリガーされると以前の自動的な反応を再訪する可能性がある「遅いシステム」を区別します。
私たちは、共参照解決におけるジェンダーバイアスに関する 2 つのクラウドソーシング実験からいくつかの観察を行いました。制限された時間設定の下で、マイペースの読書を使用して「速い」システムを研究し、質問応答を使用して「遅い」システムを研究しました。
現実世界のデータでは、人間はモデルと比較して $\sim$3\% より性別に偏った意思決定を行いますが、合成データではモデルは $\sim$12\% より偏っています。

要約(オリジナル)

Spurious correlations were found to be an important factor explaining model performance in various NLP tasks (e.g., gender or racial artifacts), often considered to be ”shortcuts” to the actual task. However, humans tend to similarly make quick (and sometimes wrong) predictions based on societal and cognitive presuppositions. In this work we address the question: can we quantify the extent to which model biases reflect human behaviour? Answering this question will help shed light on model performance and provide meaningful comparisons against humans. We approach this question through the lens of the dual-process theory for human decision-making. This theory differentiates between an automatic unconscious (and sometimes biased) ”fast system” and a ”slow system”, which when triggered may revisit earlier automatic reactions. We make several observations from two crowdsourcing experiments of gender bias in coreference resolution, using self-paced reading to study the ”fast” system, and question answering to study the ”slow” system under a constrained time setting. On real-world data humans make $\sim$3\% more gender-biased decisions compared to models, while on synthetic data models are $\sim$12\% more biased.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google