Do they mean ‘us’? Interpreting Referring Expressions in Intergroup Bias

要約

グループ内の発言とグループ外の発言の違い（グループ間バイアス）は微妙であり、固定観念の永続や暗黙の偏見などの多くの社会現象の根底にある可能性があります。
この論文では、NFL チームのファン専用フォーラムからの英語のスポーツ コメントに対するタグ付けタスクとしてグループ間のバイアスをモデル化します。
私たちは、反対の視点 (試合中のチーム) からの 600 万を超える試合中のコメントの独自のデータセットを厳選しており、各コメントは、そのコメントを引き起こした出来事の非言語的説明 (各チームのライブ勝利確率) に基づいています。
専門家と群衆のアノテーションは、暗黙的および明示的な参照表現のタグ付けを通じてバイアスのモデル化を正当化し、このタスクに必要な言語と世界の豊かで文脈に応じた理解を明らかにします。
グループ間変動の大規模分析では、自動タグ付けに LLM を使用します。その結果、一部の LLM は、数値的な確率ではなく、コメント時に勝利確率の言語的説明を求められた場合に最高のパフォーマンスを発揮することがわかりました。
さらに、LLM を使用したコメントの大規模なタグ付けにより、グループ内とグループ外の発話を区別する勝利確率にわたる指示対象の形式の線形変動が明らかになります。
コードとデータは https://github.com/venkatasg/intergroup-nfl で入手できます。

要約(オリジナル)

The variations between in-group and out-group speech (intergroup bias) are subtle and could underlie many social phenomena like stereotype perpetuation and implicit bias. In this paper, we model the intergroup bias as a tagging task on English sports comments from forums dedicated to fandom for NFL teams. We curate a unique dataset of over 6 million game-time comments from opposing perspectives (the teams in the game), each comment grounded in a non-linguistic description of the events that precipitated these comments (live win probabilities for each team). Expert and crowd annotations justify modeling the bias through tagging of implicit and explicit referring expressions and reveal the rich, contextual understanding of language and the world required for this task. For large-scale analysis of intergroup variation, we use LLMs for automated tagging, and discover that some LLMs perform best when prompted with linguistic descriptions of the win probability at the time of the comment, rather than numerical probability. Further, large-scale tagging of comments using LLMs uncovers linear variations in the form of referent across win probabilities that distinguish in-group and out-group utterances. Code and data are available at https://github.com/venkatasg/intergroup-nfl .

arxiv情報

提供元, 利用サービス

arxiv.jp, Google