From Dissonance to Insights: Dissecting Disagreements in Rationale Dataset Construction for Case Outcome Classification

要約

法的 NLP では、事件結果分類 (COC) は正確であるだけでなく、信頼でき、説明可能である必要があります。
Explainable COC における既存の研究は、1 人の専門家による注釈に限定されてきました。
しかし、弁護士が事件の事実の評価において意見が異なる場合があることはよく知られています。
したがって、我々は、国際人権法の分野の 2 人の専門家から得た新しいデータセット RAVE: Rationale variation in ECHR1 を収集します。このデータセットについては、我々は弱い一致を観察しています。
私たちは彼らの意見の相違を研究し、COC 固有のサブカテゴリーを補った、タスクに依存しない 2 レベルの分類法を構築します。
私たちの知る限り、これは人間によるラベルの変動に焦点を当てた法的 NLP の最初の研究です。
私たちはさまざまな分類カテゴリーを定量的に評価し、不一致は主に法的文脈の仕様不足に起因していることがわかりました。これは、通常、COC メタデータの粒度やノイズが限られているため、課題となっています。
RAVE 上の SOTA COC モデルの説明可能性をさらに評価し、モデルと専門家の間で限定的な一致が観察されました。
全体として、私たちのケーススタディは、結果に関連すると思われる事件の事実の側面を特定することを中心とした法的 NLP のベンチマーク データセットを作成する際の、これまで過小評価されてきた複雑さを明らかにしています。

要約(オリジナル)

In legal NLP, Case Outcome Classification (COC) must not only be accurate but also trustworthy and explainable. Existing work in explainable COC has been limited to annotations by a single expert. However, it is well-known that lawyers may disagree in their assessment of case facts. We hence collect a novel dataset RAVE: Rationale Variation in ECHR1, which is obtained from two experts in the domain of international human rights law, for whom we observe weak agreement. We study their disagreements and build a two-level task-independent taxonomy, supplemented with COC-specific subcategories. To our knowledge, this is the first work in the legal NLP that focuses on human label variation. We quantitatively assess different taxonomy categories and find that disagreements mainly stem from underspecification of the legal context, which poses challenges given the typically limited granularity and noise in COC metadata. We further assess the explainablility of SOTA COC models on RAVE and observe limited agreement between models and experts. Overall, our case study reveals hitherto underappreciated complexities in creating benchmark datasets in legal NLP that revolve around identifying aspects of a case’s facts supposedly relevant to its outcome.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google