FLawN-T5: An Empirical Examination of Effective Instruction-Tuning Data Mixtures for Legal Reasoning

要約

命令のチューニングは、ユーザーとの直接対話に役立つ言語モデルを作成するための重要なステップです。
ただし、多くの法的タスクはほとんどのオープン LLM にとって手の届かないところにあり、このドメイン向けの大規模な命令データセットはまだ存在していません。
これにより、この応用分野での研究が大幅に制限されます。
この作業では、17 の管轄区域、24 の言語、合計 1,200 万の例をカバーする大規模な法的指導データセットである LawInstruct を厳選しています。
ドメイン固有の事前トレーニングと命令チューニングにより、Flan-T5 XL がベースラインより 8 ポイントまたは 16% 向上するなど、LegalBench でのパフォーマンスが向上するという証拠を示します。
ただし、その効果は、すべてのタスク、トレーニング計画、モデルのサイズ、その他の要因にわたって一般化されるわけではありません。
LawInstruct は、法律分野におけるより強力な情報処理機能と意思決定機能を備えたモデルの開発を加速するためのリソースです。

要約(オリジナル)

Instruction tuning is an important step in making language models useful for direct user interaction. However, many legal tasks remain out of reach for most open LLMs and there do not yet exist any large scale instruction datasets for the domain. This critically limits research in this application area. In this work, we curate LawInstruct, a large legal instruction dataset, covering 17 jurisdictions, 24 languages and a total of 12M examples. We present evidence that domain-specific pretraining and instruction tuning improve performance on LegalBench, including improving Flan-T5 XL by 8 points or 16\% over the baseline. However, the effect does not generalize across all tasks, training regimes, model sizes, and other factors. LawInstruct is a resource for accelerating the development of models with stronger information processing and decision making capabilities in the legal domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google