Through the Lens of Split Vote: Exploring Disagreement, Difficulty and Calibration in Legal Case Outcome Classification

要約

法的決定においては、裁判官が全会一致の決定に達できない場合に分割投票（SV）が発生し、多様な法的議論や意見に対処しなければならない弁護士にとって困難をもたらします。
一か八かの分野では、人間と AI システムの間で認識されている困難の整合性を理解することが信頼を築くために重要です。
しかし、既存の NLP キャリブレーション方法は、人間の多数派クラスに対して測定される予測パフォーマンスに対する分類器の認識に焦点を当てており、人間固有のラベル変動 (HLV) を見落としています。
この論文では、自然に観察できる人間の意見の不一致と価値の多元性としての分裂票を調査します。
欧州人権裁判所 (ECHR) から裁判官の投票分布を収集し、SV 情報を含む事件結果分類 (COC) データセットである SV-ECHR を提示します。
私たちは、SV 固有のサブカテゴリーに対する不一致の分類を構築します。
さらに、モデルと人間の間で認識される困難さの整合性、および COC モデルの信頼性と人間によるキャリブレーションを評価します。
裁判官の投票分布との限定的な一致が観察されます。
私たちの知る限り、これは法的 NLP における人間の判断に対する調整を体系的に検討した初めての試みです。
私たちの研究は、法的意思決定タスクにおける HLV を考慮したモデル キャリブレーションの測定と強化に関するさらなる研究の必要性を強調しています。

要約(オリジナル)

In legal decisions, split votes (SV) occur when judges cannot reach a unanimous decision, posing a difficulty for lawyers who must navigate diverse legal arguments and opinions. In high-stakes domains, understanding the alignment of perceived difficulty between humans and AI systems is crucial to build trust. However, existing NLP calibration methods focus on a classifier’s awareness of predictive performance, measured against the human majority class, overlooking inherent human label variation (HLV). This paper explores split votes as naturally observable human disagreement and value pluralism. We collect judges’ vote distributions from the European Court of Human Rights (ECHR), and present SV-ECHR, a case outcome classification (COC) dataset with SV information. We build a taxonomy of disagreement with SV-specific subcategories. We further assess the alignment of perceived difficulty between models and humans, as well as confidence- and human-calibration of COC models. We observe limited alignment with the judge vote distribution. To our knowledge, this is the first systematic exploration of calibration to human judgements in legal NLP. Our study underscores the necessity for further research on measuring and enhancing model calibration considering HLV in legal decision tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google