Large Language Models in Cryptocurrency Securities Cases: Can ChatGPT Replace Lawyers?

要約

大規模言語モデル (LLM) は、法制度へのアクセスを強化する可能性があります。
しかし、法的業務の遂行におけるそれらの有効性に関する実証研究はほとんどありません。
私たちは、AI が法的手続きをサポートできる数多くの状況の 1 つとして、仮想通貨に関わる証券訴訟を研究し、LLM の法的推論と起草能力を研究しています。
私たちは、a) LLM が事実パターンからどの法律に違反している可能性があるかを正確に判断できるかどうか、b) 弁護士が書いた訴状に基づく陪審員の意思決定に LLM と比較して違いがあるかどうかを検証します。
実際の事例からの事実パターンを GPT-3.5 にフィードし、シナリオから正しい潜在的な違反を判断し、偽の違反を除外する能力を評価します。
次に、LLM と弁護士が書いた告訴状を模擬陪審員に評価してもらいました。
GPT-3.5 の法的推論スキルは弱いことが判明しましたが、特に示唆された違反が正しい傾向にあることを考えると、将来のモデルでの改善が期待されます (追加の正しい違反を見逃しただけです)。
GPT-3.5 は法律の起草においてより優れたパフォーマンスを発揮し、陪審員の決定は、決定の基礎となった文書の作成者と統計的に有意な相関はありませんでした。
LLM は法的推論の任務を満足に遂行できないため、現段階では弁護士に代わることはできません。
しかし、彼らの起草スキルは（おそらく弁護士にはまだ劣るが）、法律サービスのコストを削減することで、より多くの人々に司法へのアクセスを提供する可能性がある。
私たちの研究は、証券法や仮想通貨関連の違法行為だけでなく、訴訟におけるLLMの法的起草能力と推論能力を体系的に研究した初めての研究です。

要約(オリジナル)

Large Language Models (LLMs) could enhance access to the legal system. However, empirical research on their effectiveness in conducting legal tasks is scant. We study securities cases involving cryptocurrencies as one of numerous contexts where AI could support the legal process, studying LLMs’ legal reasoning and drafting capabilities. We examine whether a) an LLM can accurately determine which laws are potentially being violated from a fact pattern, and b) whether there is a difference in juror decision-making based on complaints written by a lawyer compared to an LLM. We feed fact patterns from real-life cases to GPT-3.5 and evaluate its ability to determine correct potential violations from the scenario and exclude spurious violations. Second, we had mock jurors assess complaints written by the LLM and lawyers. GPT-3.5’s legal reasoning skills proved weak, though we expect improvement in future models, particularly given the violations it suggested tended to be correct (it merely missed additional, correct violations). GPT-3.5 performed better at legal drafting, and jurors’ decisions were not statistically significantly associated with the author of the document upon which they based their decisions. Because LLMs cannot satisfactorily conduct legal reasoning tasks, they would be unable to replace lawyers at this stage. However, their drafting skills (though, perhaps, still inferior to lawyers), could provide access to justice for more individuals by reducing the cost of legal services. Our research is the first to systematically study LLMs’ legal drafting and reasoning capabilities in litigation, as well as in securities law and cryptocurrency-related misconduct.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google