Leveraging Large Language Models for Learning Complex Legal Concepts through Storytelling

要約

専門家以外の人々が法律知識にアクセスできるようにすることは、一般的な法的リテラシーを高め、民主主義への市民の参加を促進するために非常に重要です。
ただし、法的文書は、法的知識のない人にとっては理解が難しいことがよくあります。
本稿では、複雑で抽象的な概念を伝える効果的な教育ツールであるストーリーテリングを通じて、非専門家が複雑な法的概念を学ぶのを支援する、法教育における大規模言語モデル（LLM）の新しい応用例を紹介します。
また、新しいデータセット LegalStories も紹介します。これは 294 の複雑な法理論で構成され、それぞれにストーリーと、LLM によって生成された一連の多肢選択式の質問が伴います。
データセットを構築するために、さまざまな LLM を実験して、これらの概念を説明する法的ストーリーを生成します。
さらに、専門家によるアプローチを使用して、複数選択の質問を反復的に設計します。
次に、データセットからの 10 個のサンプルを対象に、法律初心者を対象としたランダム化比較試験 (RCT) を通じて、LLM によるストーリーテリングの有効性を評価します。
LLM で生成されたストーリーは、定義だけを読む場合と比較して、非母語話者の法概念の理解と法律への関心を高めることがわかりました。
さらに、ストーリーは参加者が法的概念を自分の生活に結びつけるのに一貫して役立ちます。
最後に、ストーリーを使った学習は、フォローアップ評価で非ネイティブスピーカーの定着率が高いことがわかりました。
私たちの取り組みは、法律分野やその他の分野での教育と学習の促進に LLM を使用することに強い意味を持っています。

要約(オリジナル)

Making legal knowledge accessible to non-experts is crucial for enhancing general legal literacy and encouraging civic participation in democracy. However, legal documents are often challenging to understand for people without legal backgrounds. In this paper, we present a novel application of large language models (LLMs) in legal education to help non-experts learn intricate legal concepts through storytelling, an effective pedagogical tool in conveying complex and abstract concepts. We also introduce a new dataset LegalStories, which consists of 294 complex legal doctrines, each accompanied by a story and a set of multiple-choice questions generated by LLMs. To construct the dataset, we experiment with various LLMs to generate legal stories explaining these concepts. Furthermore, we use an expert-in-the-loop approach to iteratively design multiple-choice questions. Then, we evaluate the effectiveness of storytelling with LLMs through randomized controlled trials (RCTs) with legal novices on 10 samples from the dataset. We find that LLM-generated stories enhance comprehension of legal concepts and interest in law among non-native speakers compared to only definitions. Moreover, stories consistently help participants relate legal concepts to their lives. Finally, we find that learning with stories shows a higher retention rate for non-native speakers in the follow-up assessment. Our work has strong implications for using LLMs in promoting teaching and learning in the legal field and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google