Lawma: The Power of Specialization for Legal Annotation

要約

法的テキストの注釈と分類は、実証的な法的研究の中心的な要素です。
伝統的に、これらのタスクはしばしば訓練を受けた研究助手に委任されています。
言語モデリングの進歩に動機付けられているため、経験的な法学者は、人間の注釈のかなりのコストを緩和することを望んで、商業モデルの促進にますます目を向けています。
使用が増えているにもかかわらず、法的注釈のために大規模な言語モデルを最大限に活用する方法を理解することは限られたままです。
このギャップを埋めるために、260の法的注釈タスクで構成されるベンチマークであるCaselawqaを導入します。
GPT-4.5やClaude 3.7 Sonnetなどの商用モデルは、法的作業に必要なパフォーマンスには一般的には、自明でありながら非常に多様な精度を達成することを実証します。
次に、小さく、軽く微調整されたモデルが商業モデルよりも優れていることを示します。
通常、数百から千のラベルのある例は、通常、より高い精度を達成するのに十分です。
私たちの仕事は、商業モデルを促すという主要な実践に代わる実行可能な代替案を指摘しています。
いくつかの利用可能なラベル付きデータを使用した具体的な法的注釈タスクの場合、研究者は微調整されたオープンソースモデルを使用する方が良いでしょう。

要約(オリジナル)

Annotation and classification of legal text are central components of empirical legal research. Traditionally, these tasks are often delegated to trained research assistants. Motivated by the advances in language modeling, empirical legal scholars are increasingly turning to prompting commercial models, hoping that it will alleviate the significant cost of human annotation. Despite growing use, our understanding of how to best utilize large language models for legal annotation remains limited. To bridge this gap, we introduce CaselawQA, a benchmark comprising 260 legal annotation tasks, nearly all new to the machine learning community. We demonstrate that commercial models, such as GPT-4.5 and Claude 3.7 Sonnet, achieve non-trivial yet highly variable accuracy, generally falling short of the performance required for legal work. We then demonstrate that small, lightly fine-tuned models outperform commercial models. A few hundred to a thousand labeled examples are usually enough to achieve higher accuracy. Our work points to a viable alternative to the predominant practice of prompting commercial models. For concrete legal annotation tasks with some available labeled data, researchers are likely better off using a fine-tuned open-source model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google