LawLuo: A Chinese Law Firm Co-run by LLM Agents

要約

大規模言語モデル (LLM) は、その優れたテキスト理解および生成機能により、法的知識のないユーザーに法律相談サービスを提供する上で大きな可能性を示しています。
それにもかかわらず、既存の中国の法律LLMは、複数のスタッフが単一の相談に貢献する法律事務所の典型的な共同協議とは異なり、対話を単一のモデルとユーザーの対話に制限しています。
この制限により、本物のコンサルティング体験が妨げられます。
さらに、既存の中国の法的 LLM には、次のような重大な制限があります。(1) 指導の微調整データの品質に対する管理が不十分。
(2) ユーザーの曖昧な質問に起因するモデルの幻覚の増加。
(3) 複数の対話ターンにわたる指示に従うモデルの能力の低下。
これらの課題に応えて、私たちは、LawLuo と呼ばれる、複数の LLM エージェントの協力機能を活用する新しい法的対話フレームワークを提案します。
この枠組みには、受付係、弁護士、秘書、上司の 4 人のエージェントが含まれており、それぞれが異なる機能を担当し、協力してユーザーに包括的な法律相談を提供します。
さらに、KINLED と MURLED という 2 つの高品質な法的対話データセットを構築し、これらのデータセットを使用して ChatGLM-3-6b を微調整しました。
我々は、ToLC と呼ばれる法的クエリ明確化アルゴリズムを提案します。
実験結果は、LawLuo が、弁護士のような言語スタイル、法的アドバイスの有用性、法律知識の正確さという 3 つの側面において、GPT-4 を含むベースライン LLM よりも優れていることを示しています。
コードとデータセットは https://github.com/NEFUJing/LawLuo で入手できます。

要約(オリジナル)

Large Language Models (LLMs) demonstrate substantial potential in delivering legal consultation services to users without a legal background, attributed to their superior text comprehension and generation capabilities. Nonetheless, existing Chinese legal LLMs limit interaction to a single model-user dialogue, unlike the collaborative consultations typical of law firms, where multiple staff members contribute to a single consultation. This limitation prevents an authentic consultation experience. Additionally, extant Chinese legal LLMs suffer from critical limitations: (1) insufficient control over the quality of instruction fine-tuning data; (2) increased model hallucination resulting from users’ ambiguous queries; and (3) a reduction in the model’s ability to follow instructions over multiple dialogue turns. In response to these challenges, we propose a novel legal dialogue framework that leverages the collaborative capabilities of multiple LLM agents, termed LawLuo. This framework encompasses four agents: a receptionist, a lawyer, a secretary, and a boss, each responsible for different functionalities, collaboratively providing a comprehensive legal consultation to users. Additionally, we constructed two high-quality legal dialogue datasets, KINLED and MURLED, and fine-tuned ChatGLM-3-6b using these datasets. We propose a legal query clarification algorithm called ToLC. Experimental results demonstrate that LawLuo outperforms baseline LLMs, including GPT-4, across three dimensions: lawyer-like language style, the usefulness of legal advice, and the accuracy of legal knowledge. Our code and datasets are available at https://github.com/NEFUJing/LawLuo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google