Explaining Legal Concepts with Augmented Large Language Models (GPT-4)

要約

法律上のオープンテキストの用語の意味を解釈することは、法律専門家の重要な仕事です。
この解釈の重要な情報源は、この用語が過去の裁判でどのように適用されたかです。
このペーパーでは、法律における用語の事実に基づいて正確で明確かつ適切な説明を生成する GPT-4 のパフォーマンスを評価します。
GPT-4 に法律用語の説明を直接要求するベースライン設定のパフォーマンスを、法律情報取得モジュールを使用して、事例からの文の形式で関連するコンテキストをモデルに提供する拡張アプローチと比較します。
法。
GPT-4 を直接適用すると、表面的には非常に高品質に見える説明が得られることがわかりました。
しかし、詳細な分析により、説明の事実の正確さの点で限界があることが明らかになりました。
さらに、拡張によって品質が向上し、モデルが誤った記述をでっち上げるという幻覚の問題が解消されるようであることがわかりました。
これらの発見は、判例法から関連する文を自律的に検索し、それらを法学者、教育者、または現役の弁護士にとって有用な説明に凝縮できるシステムの構築への扉を開きます。

要約(オリジナル)

Interpreting the meaning of legal open-textured terms is a key task of legal professionals. An important source for this interpretation is how the term was applied in previous court cases. In this paper, we evaluate the performance of GPT-4 in generating factually accurate, clear and relevant explanations of terms in legislation. We compare the performance of a baseline setup, where GPT-4 is directly asked to explain a legal term, to an augmented approach, where a legal information retrieval module is used to provide relevant context to the model, in the form of sentences from case law. We found that the direct application of GPT-4 yields explanations that appear to be of very high quality on their surface. However, detailed analysis uncovered limitations in terms of the factual accuracy of the explanations. Further, we found that the augmentation leads to improved quality, and appears to eliminate the issue of hallucination, where models invent incorrect statements. These findings open the door to the building of systems that can autonomously retrieve relevant sentences from case law and condense them into a useful explanation for legal scholars, educators or practicing lawyers alike.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google