Large Language Models as Tax Attorneys: A Case Study in Legal Capabilities Emergence

要約

大規模言語モデル (LLM) の法的分析能力をより深く理解することは、法律サービスの効率の向上、人工知能の管理、法律の不一致を特定するための LLM の活用に貢献できます。
このペーパーでは、税法の適用における LLM の機能について検討します。
私たちがこの法律分野を選択した理由は、この分野が、数千の例にわたって自動検証パイプラインをセットアップできる構造を備えており、論理的推論と数学スキルを必要とし、現実世界の経済生活に関連した方法で LLM 機能をテストできるためです。
国民も企業も。
私たちの実験は、後続の OpenAI モデル リリースごとにパフォーマンスが向上する、新たな法的理解機能を実証します。
私たちは、LLM に追加の法的コンテキストを提供することの影響を評価するために、関連する法的権限を取得して利用する実験を行っています。
質問と回答のペアの例を提示する少数ショット プロンプトも、最も先進的なモデルである GPT-4 のパフォーマンスを大幅に向上させることがわかりました。
この調査結果は、LLM は、特にプロンプ​​ト機能の強化と正しい法的文章と組み合わせた場合、高レベルの精度で実行できるものの、まだ専門の税務弁護士レベルには達していないことを示しています。
LLM が進歩し続けるにつれて、法について自律的に推論する能力は、法曹界と AI ガバナンスに重大な影響を与える可能性があります。

要約(オリジナル)

Better understanding of Large Language Models’ (LLMs) legal analysis abilities can contribute to improving the efficiency of legal services, governing artificial intelligence, and leveraging LLMs to identify inconsistencies in law. This paper explores LLM capabilities in applying tax law. We choose this area of law because it has a structure that allows us to set up automated validation pipelines across thousands of examples, requires logical reasoning and maths skills, and enables us to test LLM capabilities in a manner relevant to real-world economic lives of citizens and companies. Our experiments demonstrate emerging legal understanding capabilities, with improved performance in each subsequent OpenAI model release. We experiment with retrieving and utilising the relevant legal authority to assess the impact of providing additional legal context to LLMs. Few-shot prompting, presenting examples of question-answer pairs, is also found to significantly enhance the performance of the most advanced model, GPT-4. The findings indicate that LLMs, particularly when combined with prompting enhancements and the correct legal texts, can perform at high levels of accuracy but not yet at expert tax lawyer levels. As LLMs continue to advance, their ability to reason about law autonomously could have significant implications for the legal profession and AI governance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google