Automate or Assist? The Role of Computational Models in Identifying Gendered Discourse in US Capital Trial Transcripts

要約

刑事裁判で米国の法廷俳優が使用する言葉遣いは、偏見がないかについて長い間研究されてきた。
しかし、バイアスの微妙な性質と必要とされる法的専門知識のため、一か八かの法廷裁判におけるバイアスに関する体系的な研究は困難でした。
新しい大規模言語モデルにより、注釈を自動化し、時間とコストを節約することが可能になります。
しかし、これらのアプローチを検証するには、高い定量的パフォーマンスと、自動化された手法が既存のワークフローにどのように適合するか、そしてそれらが実際に何を提供するのかを理解する必要があります。
この論文では、米国の女性被告に対する首都裁判におけるジェンダーに偏った言葉遣いの特定という、複雑で一か八かの問題に自動化システムを追加したケーススタディを紹介します。
経験豊富な死刑弁護士と NLP 技術者からなる私たちのチームは、最初に手動でアノテーションを付け、次に計算モデルのトレーニングと評価、そして最後に人間によるアノテーションとモデル予測の比較という 3 段階の研究を進めました。
多くの典型的な NLP タスクとは異なり、数か月にわたる資本試験におけるジェンダー バイアスについての注釈付けは、多くの個別の判断を伴う複雑なタスクでした。
効率性とスケーラビリティに基づく自動化に関する標準的な議論とは対照的に、法律専門家は、アノテーションにおける個人的な偏見に異議を唱え、アノテーションのルールを改良して合意を構築する機会を提供する上で、計算モデルが最も有用であると考えました。
これは、専門家を計算モデルに置き換えようとすることは非現実的であり、望ましくないことを示唆しています。
むしろ、計算モデルは、注釈ベースの研究において法律専門家を支援する貴重な機会を提供します。

要約(オリジナル)

The language used by US courtroom actors in criminal trials has long been studied for biases. However, systematic studies for bias in high-stakes court trials have been difficult, due to the nuanced nature of bias and the legal expertise required. New large language models offer the possibility to automate annotation, saving time and cost. But validating these approaches requires both high quantitative performance as well as an understanding of how automated methods fit in existing workflows, and what they really offer. In this paper we present a case study of adding an automated system to a complex and high-stakes problem: identifying gender-biased language in US capital trials for women defendants. Our team of experienced death-penalty lawyers and NLP technologists pursued a three-phase study: first annotating manually, then training and evaluating computational models, and finally comparing human annotations to model predictions. Unlike many typical NLP tasks, annotating for gender bias in months-long capital trials was a complicated task that involves with many individual judgment calls. In contrast to standard arguments for automation that are based on efficiency and scalability, legal experts found the computational models most useful in challenging their personal bias in annotation and providing opportunities to refine and build consensus on rules for annotation. This suggests that seeking to replace experts with computational models is both unrealistic and undesirable. Rather, computational models offer valuable opportunities to assist the legal experts in annotation-based studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google