VECHR: A Dataset for Explainable and Robust Classification of Vulnerability Type in the European Court of Human Rights

要約

脆弱性を認識することは、必要な個人に力を与えるための的を絞ったサポートを理解し、実行するために重要です。
これは欧州人権裁判所 (ECtHR) において特に重要であり、同裁判所は実際の個人のニーズに合わせて条約の基準を適応させ、効果的な人権保護を確保しています。
しかし、ECtHR では脆弱性の概念は依然としてとらえどころがなく、これを扱ったこれまでの NLP 研究はありません。
この分野での将来の研究を可能にするために、脆弱性の種類の分類と説明の根拠で構成される新しい専門家による注釈付きマルチラベル データセットである VECHR を紹介します。
私たちは、予測と説明可能性の両方の観点から VECHR 上の最先端モデルのパフォーマンスをベンチマークします。
私たちの結果は、予測パフォーマンスが低く、モデルと専門家間の一致が限られているというタスクの困難な性質を示しています。
さらに、ドメイン外 (OOD) データを処理する際のこれらのモデルの堅牢性を分析し、全体的に限られたパフォーマンスを観察します。
私たちのデータセットには、パフォーマンス、説明可能性、堅牢性に関して大きな改善の余地がある独特の課題があります。

要約(オリジナル)

Recognizing vulnerability is crucial for understanding and implementing targeted support to empower individuals in need. This is especially important at the European Court of Human Rights (ECtHR), where the court adapts Convention standards to meet actual individual needs and thus ensures effective human rights protection. However, the concept of vulnerability remains elusive at the ECtHR and no prior NLP research has dealt with it. To enable future research in this area, we present VECHR, a novel expert-annotated multi-label dataset comprising of vulnerability type classification and explanation rationale. We benchmark the performance of state-of-the-art models on VECHR from both prediction and explainability perspectives. Our results demonstrate the challenging nature of the task with lower prediction performance and limited agreement between models and experts. Further, we analyze the robustness of these models in dealing with out-of-domain (OOD) data and observe overall limited performance. Our dataset poses unique challenges offering significant room for improvement regarding performance, explainability, and robustness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google