Experimenting with Legal AI Solutions: The Case of Question-Answering for Access to Justice

要約

GPT や Llama シリーズなどの生成 AI モデルは、素人が法的質問に答えるのを支援する大きな可能性を秘めています。
しかし、素人を対象としたこれらのモデルのデータ調達、推論、評価に焦点を当てた先行研究はほとんどありません。
この目的を達成するために、データの調達、推論、評価をカバーする人間中心の法的 NLP パイプラインを提案します。
当社は、雇用法から刑法に至る実際の具体的な法的質問、法律専門家によって書かれた対応する回答、および各回答の引用を含むデータセット LegalQA を導入およびリリースします。
私たちは、このデータセットの自動評価プロトコルを開発し、トレイン セット内のわずか 850 件の引用からの検索拡張生成が、含まれるデータが 9 桁少ないにもかかわらず、インターネット全体の検索に匹敵するか、それを上回るパフォーマンスを発揮できることを示します。
最後に、クローズドソースモデルに後れを取るオープンソースへの取り組みの将来の方向性を提案します。

要約(オリジナル)

Generative AI models, such as the GPT and Llama series, have significant potential to assist laypeople in answering legal questions. However, little prior work focuses on the data sourcing, inference, and evaluation of these models in the context of laypersons. To this end, we propose a human-centric legal NLP pipeline, covering data sourcing, inference, and evaluation. We introduce and release a dataset, LegalQA, with real and specific legal questions spanning from employment law to criminal law, corresponding answers written by legal experts, and citations for each answer. We develop an automatic evaluation protocol for this dataset, then show that retrieval-augmented generation from only 850 citations in the train set can match or outperform internet-wide retrieval, despite containing 9 orders of magnitude less data. Finally, we propose future directions for open-sourced efforts, which fall behind closed-sourced models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google