Automating Legal Concept Interpretation with LLMs: Retrieval, Generation, and Evaluation

要約

法律条文には、刻々と変化する社会に適応するため、しばしば曖昧な概念が含まれる。これらの概念の詳細な解釈を提供することは、法律実務家にとって重要なタスクであり、法律の専門家による綿密かつ専門的な注釈が必要である。本論文では、過去の判例から関連情報を自動的に検索し、曖昧な法的概念を解釈するための、新しい検索支援型生成フレームワークATRIを紹介する。さらに、専門家の関与なしに生成された概念解釈の評価を自動化するために、新しいベンチマークである法的概念内包を提案する。自動評価の結果、生成された解釈は、曖昧な法概念の理解において大規模言語モデル(LLM)を効果的に支援できることが示された。法律の専門家による多面的な評価では、我々の概念解釈の品質は人間の専門家によって書かれたものに匹敵することが示された。我々の研究は、LLMを活用し、曖昧な法的概念の解釈やそれ以降の法律実務を支援することに強い示唆を与える。

要約(オリジナル)

Legal articles often include vague concepts to adapt to the ever-changing society. Providing detailed interpretations of these concepts is a critical task for legal practitioners, which requires meticulous and professional annotations by legal experts, admittedly time-consuming and expensive to collect at scale. In this paper, we introduce a novel retrieval-augmented generation framework, ATRI, for AuTomatically Retrieving relevant information from past judicial precedents and Interpreting vague legal concepts. We further propose a new benchmark, Legal Concept Entailment, to automate the evaluation of generated concept interpretations without expert involvement. Automatic evaluations indicate that our generated interpretations can effectively assist large language models (LLMs) in understanding vague legal concepts. Multi-faceted evaluations by legal experts indicate that the quality of our concept interpretations is comparable to those written by human experts. Our work has strong implications for leveraging LLMs to support legal practitioners in interpreting vague legal concepts and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL