要約
大規模言語モデル (LLM) は、弁護士にとって有用なツールとなる可能性があります。
しかし、法的業務の遂行におけるそれらの有効性に関する実証研究はほとんどありません。
私たちは、AI が法的手続きをサポートできる数多くの状況の 1 つとして、暗号通貨に関係する証券訴訟を研究し、GPT-3.5 の法的推論と ChatGPT の法的起草機能を研究しています。
a) GPT-3.5 が事実パターンからどの法律に違反している可能性があるかを正確に判断できるかどうか、b) ChatGPT と比べて弁護士が書いた訴状に基づく陪審の意思決定に違いがあるかどうかを検証します。
実際の事例からの事実パターンを GPT-3.5 にフィードし、シナリオから正しい潜在的な違反を判断し、偽の違反を除外する能力を評価します。
次に、ChatGPT と弁護士が書いた告訴状を模擬陪審員に評価してもらいました。
GPT-3.5 の法的推論スキルは弱いことが判明しましたが、特に示唆された違反が正しい傾向にあることを考えると、将来のモデルでの改善が期待されます (追加の正しい違反を見逃しただけです)。
ChatGPT は法律の起草においてより優れたパフォーマンスを示し、陪審員の決定は、決定の基礎となった文書の作成者と統計的に有意な関連性はありませんでした。
GPT-3.5 は法的推論タスクを満足に実行できないため、現段階では有意義な方法で弁護士を支援できる可能性は低いでしょう。
しかし、ChatGPT の起草スキル (おそらく弁護士よりはまだ劣るかもしれませんが) は、弁護士が法的サービスを提供するのに役立つ可能性があります。
私たちの研究は、証券法や仮想通貨関連の違法行為だけでなく、訴訟におけるLLMの法的起草能力と推論能力を体系的に研究した初めての研究です。
要約(オリジナル)
Large Language Models (LLMs) could be a useful tool for lawyers. However, empirical research on their effectiveness in conducting legal tasks is scant. We study securities cases involving cryptocurrencies as one of numerous contexts where AI could support the legal process, studying GPT-3.5’s legal reasoning and ChatGPT’s legal drafting capabilities. We examine whether a) GPT-3.5 can accurately determine which laws are potentially being violated from a fact pattern, and b) whether there is a difference in juror decision-making based on complaints written by a lawyer compared to ChatGPT. We feed fact patterns from real-life cases to GPT-3.5 and evaluate its ability to determine correct potential violations from the scenario and exclude spurious violations. Second, we had mock jurors assess complaints written by ChatGPT and lawyers. GPT-3.5’s legal reasoning skills proved weak, though we expect improvement in future models, particularly given the violations it suggested tended to be correct (it merely missed additional, correct violations). ChatGPT performed better at legal drafting, and jurors’ decisions were not statistically significantly associated with the author of the document upon which they based their decisions. Because GPT-3.5 cannot satisfactorily conduct legal reasoning tasks, it would be unlikely to be able to help lawyers in a meaningful way at this stage. However, ChatGPT’s drafting skills (though, perhaps, still inferior to lawyers) could assist lawyers in providing legal services. Our research is the first to systematically study an LLM’s legal drafting and reasoning capabilities in litigation, as well as in securities law and cryptocurrency-related misconduct.
arxiv情報
| 著者 | Arianna Trozze,Toby Davies,Bennett Kleinberg |
| 発行日 | 2024-02-22 16:21:51+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google