Automatic Information Extraction From Employment Tribunal Judgements Using Large Language Models

要約

裁判所の記録と判決は、事件の複雑さと司法判断の背後にある論理的根拠を詳述する、法的知識の豊富な宝庫です。
これらの文書から重要な情報を抽出すると、法律専門家と一般の人々の両方にとって重要な、事件の簡潔な概要が得られます。
大規模言語モデル (LLM) の出現により、自動情報抽出がますます実現可能かつ効率的になりました。
この論文は、英国雇用裁判所 (UKET) の事件からの自動情報抽出のための大規模言語モデルである GPT-4 のアプリケーションに関する包括的な研究を紹介します。
私たちは、手動検証プロセスを使用して重要な情報を抽出する際の GPT-4 のパフォーマンスを細心の注意を払って評価し、抽出されたデータの正確性と関連性を確認しました。
私たちの調査は 2 つの主要な抽出タスクを中心に構成されています。1 つ目は、訴訟の事実、主張、法律への言及、法律への言及など、法律専門家と一般大衆の両方にとって重要な 8 つの主要な側面の一般的な抽出です。
先例、一般的な事件の結果と対応するラベル、詳細な命令と救済策と決定の理由。
2 番目のタスクはより焦点を当てたもので、雇用法紛争の結果を予測できるツールの開発を促進するために、抽出された特徴のうちの 3 つ、つまり事実、主張、結果を分析することを目的としています。
私たちの分析を通じて、GPT-4 のような LLM が法的情報の抽出において高い精度を得ることができることを実証し、法的情報の処理と利用方法に革命をもたらし、法的研究と実務に重大な影響を与える LLM の可能性を強調しています。

要約(オリジナル)

Court transcripts and judgments are rich repositories of legal knowledge, detailing the intricacies of cases and the rationale behind judicial decisions. The extraction of key information from these documents provides a concise overview of a case, crucial for both legal experts and the public. With the advent of large language models (LLMs), automatic information extraction has become increasingly feasible and efficient. This paper presents a comprehensive study on the application of GPT-4, a large language model, for automatic information extraction from UK Employment Tribunal (UKET) cases. We meticulously evaluated GPT-4’s performance in extracting critical information with a manual verification process to ensure the accuracy and relevance of the extracted data. Our research is structured around two primary extraction tasks: the first involves a general extraction of eight key aspects that hold significance for both legal specialists and the general public, including the facts of the case, the claims made, references to legal statutes, references to precedents, general case outcomes and corresponding labels, detailed order and remedies and reasons for the decision. The second task is more focused, aimed at analysing three of those extracted features, namely facts, claims and outcomes, in order to facilitate the development of a tool capable of predicting the outcome of employment law disputes. Through our analysis, we demonstrate that LLMs like GPT-4 can obtain high accuracy in legal information extraction, highlighting the potential of LLMs in revolutionising the way legal information is processed and utilised, offering significant implications for legal research and practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google