A Hierarchical Neural Framework for Classification and its Explanation in Large Unstructured Legal Documents

要約

自動法的判決予測とその解説には、一般に数万語を超える長い訴訟文書があり、構造が不均一であるという問題があります。
このような文書から判決を予測し、その説明を抽出することは困難な作業となり、構造注釈のない文書の場合はさらに困難になります。
私たちはこの問題を「注釈付きの法的文書が不足している」と定義し、MESc と呼ばれる深層学習ベースの分類フレームワークを使用して、その構造情報の欠如と長大さを調査します。
「クラスタリングによるマルチステージエンコーダベースの教師あり」;
判定予測用。
私たちは、数十億のパラメータを持つ LLM (GPT-Neo および GPT-J) の法律文書への適応性と、そのドメイン内 (法律) 転移学習能力を調査します。
これに加えて、MESc とのパフォーマンスと適応性、および最後の層からの埋め込みを組み合わせた場合の影響を比較します。
このような階層モデルに対して、ORSE という名前の説明抽出アルゴリズムも提案します。
オクルージョン感度ベースの関連文抽出機能。
モデルの入力オクルージョン感度に基づいて、ドキュメントから最も関連性の高い文を使用して予測を説明します。
私たちは、ILDC データセットと LexGLUE データセットのサブセットを使用して、インド、欧州連合、米国の法的文書を対象とした広範な実験とアブレーション研究により、これらの方法を探索し、その有効性をテストします。
MESc は、以前に提案された最先端の手法と比較して、最小合計約 2 ポイントのパフォーマンス向上を達成します。一方、MESc に適用された ORSE は、ベースラインの説明可能性スコアを上回る合計平均 50% の向上を達成します。

要約(オリジナル)

Automatic legal judgment prediction and its explanation suffer from the problem of long case documents exceeding tens of thousands of words, in general, and having a non-uniform structure. Predicting judgments from such documents and extracting their explanation becomes a challenging task, more so on documents with no structural annotation. We define this problem as ‘scarce annotated legal documents’ and explore their lack of structural information and their long lengths with a deep-learning-based classification framework which we call MESc; ‘Multi-stage Encoder-based Supervised with-clustering’; for judgment prediction. We explore the adaptability of LLMs with multi-billion parameters (GPT-Neo, and GPT-J) to legal texts and their intra-domain(legal) transfer learning capacity. Alongside this, we compare their performance and adaptability with MESc and the impact of combining embeddings from their last layers. For such hierarchical models, we also propose an explanation extraction algorithm named ORSE; Occlusion sensitivity-based Relevant Sentence Extractor; based on the input-occlusion sensitivity of the model, to explain the predictions with the most relevant sentences from the document. We explore these methods and test their effectiveness with extensive experiments and ablation studies on legal documents from India, the European Union, and the United States with the ILDC dataset and a subset of the LexGLUE dataset. MESc achieves a minimum total performance gain of approximately 2 points over previous state-of-the-art proposed methods, while ORSE applied on MESc achieves a total average gain of 50% over the baseline explainability scores.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google