Unlocking Practical Applications in Legal Domain: Evaluation of GPT for Zero-Shot Semantic Annotation of Legal Texts

要約

タイトル：法的分野における実用的な応用を解除する：法的テキストのゼロショットセマンティック注釈のGPT評価

要約：

・法律文書からの短文スニペット（1〜数文）のシソーラス注釈の実行能力について、最新技術の生成的事前トランスフォーマー（GPT）モデルを評価しました。

・この新しい技術を文書作成、要約など様々な可能性がありますが、法的分野では、これらの大規模言語モデル（LLM）のセンテンスレベルのセマンティック注釈のゼロショット学習設定における容量の厳格な分析は、これまで存在していませんでした。

・本研究でこの分野を補完します。簡潔なセマンティックタイプの定義に基づいて、モデルが小規模な短文スニペット（10〜50）のセマンティック注釈をどのように成功裏に行うかどうかを検証しました。

・GPTモデルは、さまざまなタイプの文書でゼロショット設定で驚くほど良いパフォーマンスを発揮します（裁判意見に関するタスクのF1 = 0.73、契約に対して0.86、条例に対して0.54）。

・これらの結果は、法学者や実務家が法的テキストのセマンティック注釈においてLLMsを統合する決定を支援するために利用できます。

要約(オリジナル)

We evaluated the capability of a state-of-the-art generative pre-trained transformer (GPT) model to perform semantic annotation of short text snippets (one to few sentences) coming from legal documents of various types. Discussions of potential uses (e.g., document drafting, summarization) of this emerging technology in legal domain have intensified, but to date there has not been a rigorous analysis of these large language models’ (LLM) capacity in sentence-level semantic annotation of legal texts in zero-shot learning settings. Yet, this particular type of use could unlock many practical applications (e.g., in contract review) and research opportunities (e.g., in empirical legal studies). We fill the gap with this study. We examined if and how successfully the model can semantically annotate small batches of short text snippets (10-50) based exclusively on concise definitions of the semantic types. We found that the GPT model performs surprisingly well in zero-shot settings on diverse types of documents (F1=.73 on a task involving court opinions, .86 for contracts, and .54 for statutes and regulations). These findings can be leveraged by legal scholars and practicing lawyers alike to guide their decisions in integrating LLMs in wide range of workflows involving semantic annotation of legal texts.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI