Interpretable Long-Form Legal Question Answering with Retrieval-Augmented Large Language Models

要約

多くの人は、人生のある時点で法的紛争に直面する可能性がありますが、これらの複雑な問題を解決する方法を理解していないため、脆弱になることがよくあります。
自然言語処理の進歩により、自動法律扶助システムの開発を通じて、この法的リテラシーのギャップを埋めるための新たな道が開かれます。
しかし、既存の法的質問応答 (LQA) アプローチは、特定の法的領域に限定されているか、簡潔で有益でない応答に限定されており、範囲が狭いことがよくあります。
この研究では、「取得してから読み取る」パイプラインを利用して、あらゆる法律に関する質問に対する長い形式の回答を生成するように設計されたエンドツーエンドの方法論を提案します。
このアプローチをサポートするために、私たちは長文法律質問回答 (LLeQA) データセットを導入およびリリースします。このデータセットは、専門家による注釈が付けられたフランス語の 1,868 件の法律質問で構成され、関連する法規定に基づいた詳細な回答が付いています。
私たちの実験結果は、自動評価指標に関して有望なパフォーマンスを示していますが、定性分析により改善の余地があることが明らかになりました。
LLeQA は、専門家による注釈が付けられた唯一の包括的な長形式 LQA データセットの 1 つであり、現実世界の重大な問題の解決に向けて研究を加速するだけでなく、特殊な領域で NLP モデルを評価するための厳密なベンチマークとしても機能する可能性があります。
私たちはコード、データ、モデルを一般に公開します。

要約(オリジナル)

Many individuals are likely to face a legal dispute at some point in their lives, but their lack of understanding of how to navigate these complex issues often renders them vulnerable. The advancement of natural language processing opens new avenues for bridging this legal literacy gap through the development of automated legal aid systems. However, existing legal question answering (LQA) approaches often suffer from a narrow scope, being either confined to specific legal domains or limited to brief, uninformative responses. In this work, we propose an end-to-end methodology designed to generate long-form answers to any statutory law questions, utilizing a ‘retrieve-then-read’ pipeline. To support this approach, we introduce and release the Long-form Legal Question Answering (LLeQA) dataset, comprising 1,868 expert-annotated legal questions in the French language, complete with detailed answers rooted in pertinent legal provisions. Our experimental results demonstrate promising performance on automatic evaluation metrics, but a qualitative analysis uncovers areas for refinement. As one of the only comprehensive, expert-annotated long-form LQA dataset, LLeQA has the potential to not only accelerate research towards resolving a significant real-world issue, but also act as a rigorous benchmark for evaluating NLP models in specialized domains. We publicly release our code, data, and models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google