Intention and Context Elicitation with Large Language Models in the Legal Aid Intake Process

要約

大規模言語モデル (LLM) とチャットボットは、法的手続きの合理化に大きな期待を寄せています。
この進歩により、法律扶助組織の作業量とコストが大幅に削減され、可用性が向上すると同時に、より幅広い人々が法的支援をより利用しやすくなります。
ただし、現在の LLM の主な課題は、トレーニング データから学習した出力分布に基づいて、クライアントの質問に対して自信を持って即座に「最良の推測」を提供する傾向があることです。
このアプローチでは、クライアントの実際の意図や法的状況の詳細が見落とされることがよくあります。
その結果、クライアントは、法的訴訟にとって重要な、重要な追加の文脈を提供したり、根本的な意図を表現したりすることの重要性を理解していない可能性があります。
従来、ロジックベースのデシジョンツリーは、移民や立ち退きなど、司法への特定の問題へのアクセスを自動化するために使用されてきました。
しかし、これらのソリューションにはスケーラビリティが欠けています。
私たちは、LLM を使用して、自由形式の言語ベースの対話を通じてクライアントの根本的な意図と特定の法的状況を引き出し、推測する概念実証を実証します。
また、教師あり微調整またはオフライン強化学習を使用して、明示的なプロンプトなしでチャットボットに意図とコンテキストの引き出しを自動的に組み込むという将来の研究の方向性も提案します。

要約(オリジナル)

Large Language Models (LLMs) and chatbots show significant promise in streamlining the legal intake process. This advancement can greatly reduce the workload and costs for legal aid organizations, improving availability while making legal assistance more accessible to a broader audience. However, a key challenge with current LLMs is their tendency to overconfidently deliver an immediate ‘best guess’ to a client’s question based on the output distribution learned over the training data. This approach often overlooks the client’s actual intentions or the specifics of their legal situation. As a result, clients may not realize the importance of providing essential additional context or expressing their underlying intentions, which are crucial for their legal cases. Traditionally, logic based decision trees have been used to automate intake for specific access to justice issues, such as immigration and eviction. But those solutions lack scalability. We demonstrate a proof-of-concept using LLMs to elicit and infer clients’ underlying intentions and specific legal circumstances through free-form, language-based interactions. We also propose future research directions to use supervised fine-tuning or offline reinforcement learning to automatically incorporate intention and context elicitation in chatbots without explicit prompting.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google