LeKUBE: A Legal Knowledge Update BEnchmark

要約

大規模言語モデル (LLM) の最近の進歩により、法的インテリジェンスの研究を含む複数の分野での AI の応用が大きく形作られています。
法令や法的文書を含む広範な法律文書について訓練を受けた法律LLMは、重要な法律知識/概念を効果的に捉え、法律コンサルティングなどの下流の法的アプリケーションに重要なサポートを提供できます。
しかし、法律とその解釈の動的な性質により、法的適用における LLM の使用に対して新たな課題も生じています。
特に、LLM の法的知識を効果的かつ効率的に更新する方法は、実務上重要な研究課題となっています。
知識の更新方法を評価するための既存のベンチマークは、ほとんどがオープンドメイン向けに設計されており、新しい法律知識の微妙な適用、法規制の複雑さと長さ、法的推論の複雑な性質など、法律分野の特定の課題に対処できません。
。
このギャップに対処するために、法律知識更新ベンチマーク、つまり LeKUBE を導入します。これは、法律 LLM の知識更新方法を 5 つの次元にわたって評価します。
具体的には、法律専門家の助けを借りて法律分野における知識の更新のニーズを分類し、法科大学院からアノテーターを雇って、中国の刑法と民法の総合的な更新と、回答が変わる一連の質問を作成します。
アップデート後。
最先端の知識更新方法の包括的な評価を通じて、既存の知識更新方法と法律分野特有のニーズとの間に顕著なギャップがあることを明らかにし、法律分野に合わせた知識更新メカニズムのさらなる研究と開発の必要性を強調します。
LLM。

要約(オリジナル)

Recent advances in Large Language Models (LLMs) have significantly shaped the applications of AI in multiple fields, including the studies of legal intelligence. Trained on extensive legal texts, including statutes and legal documents, the legal LLMs can capture important legal knowledge/concepts effectively and provide important support for downstream legal applications such as legal consultancy. Yet, the dynamic nature of legal statutes and interpretations also poses new challenges to the use of LLMs in legal applications. Particularly, how to update the legal knowledge of LLMs effectively and efficiently has become an important research problem in practice. Existing benchmarks for evaluating knowledge update methods are mostly designed for the open domain and cannot address the specific challenges of the legal domain, such as the nuanced application of new legal knowledge, the complexity and lengthiness of legal regulations, and the intricate nature of legal reasoning. To address this gap, we introduce the Legal Knowledge Update BEnchmark, i.e. LeKUBE, which evaluates knowledge update methods for legal LLMs across five dimensions. Specifically, we categorize the needs of knowledge updates in the legal domain with the help of legal professionals, and then hire annotators from law schools to create synthetic updates to the Chinese Criminal and Civil Code as well as sets of questions of which the answers would change after the updates. Through a comprehensive evaluation of state-of-the-art knowledge update methods, we reveal a notable gap between existing knowledge update methods and the unique needs of the legal domain, emphasizing the need for further research and development of knowledge update mechanisms tailored for legal LLMs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google