The Craft of Selective Prediction: Towards Reliable Case Outcome Classification — An Empirical Study on European Court of Human Rights Cases

要約

事件結果分類 (COC) など、法的 NLP 内の一か八かの意思決定タスクでは、モデルの予測信頼度を定量化することが重要です。
信頼度の推定により、人間は、特にモデルの確実性が低い場合、または間違いの結果が重大な場合に、より多くの情報に基づいた意思決定を行うことができます。
ただし、既存の COC 作品のほとんどは、モデルの信頼性よりも高いタスク パフォーマンスを優先しています。
この論文では、事前トレーニング コーパス、信頼性推定器、微調整損失を含むさまざまな設計上の選択が、選択的予測の枠組み内で COC モデルの信頼性にどのように影響するかについて実証的調査を実施します。
欧州人権裁判所 (ECtHR) の訴訟に焦点を当てた、マルチラベル COC タスクに関する私たちの実験は、より適切なキャリブレーションのための、多様でありながら領域固有の事前トレーニング コーパスの重要性を強調しています。
さらに、大規模なモデルは過信を示す傾向があり、モンテカルロ ドロップアウト法は信頼性の高い信頼推定値を生成し、確信のある誤差の正則化は過信を効果的に軽減することを示します。
私たちの知る限り、これは法的 NLP における選択的予測の最初の体系的な調査です。
私たちの調査結果は、信頼度の測定を強化し、法的領域におけるモデルの信頼性を向上させるためのさらなる研究の必要性を強調しています。

要約(オリジナル)

In high-stakes decision-making tasks within legal NLP, such as Case Outcome Classification (COC), quantifying a model’s predictive confidence is crucial. Confidence estimation enables humans to make more informed decisions, particularly when the model’s certainty is low, or where the consequences of a mistake are significant. However, most existing COC works prioritize high task performance over model reliability. This paper conducts an empirical investigation into how various design choices including pre-training corpus, confidence estimator and fine-tuning loss affect the reliability of COC models within the framework of selective prediction. Our experiments on the multi-label COC task, focusing on European Court of Human Rights (ECtHR) cases, highlight the importance of a diverse yet domain-specific pre-training corpus for better calibration. Additionally, we demonstrate that larger models tend to exhibit overconfidence, Monte Carlo dropout methods produce reliable confidence estimates, and confident error regularization effectively mitigates overconfidence. To our knowledge, this is the first systematic exploration of selective prediction in legal NLP. Our findings underscore the need for further research on enhancing confidence measurement and improving the trustworthiness of models in the legal domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google