The Right Model for the Job: An Evaluation of Legal Multi-Label Classification Baselines

要約

マルチラベル分類 (MLC) は、法律分野における一般的なタスクであり、1 つの法律文書に複数のラベルを割り当てることができます。
従来の ML アプローチから最新の Transformer ベースのアーキテクチャに至るまで、幅広い方法を適用できます。
この研究では、2 つの公的法律データセット、POSTURE50K と EURLEX57K を使用して、さまざまな MLC 手法の評価を実行します。
トレーニング データの量とラベルの数を変えることにより、データセットのプロパティに関してさまざまなアプローチによってもたらされる比較優位性を調査します。
私たちの調査結果は、DistilRoBERTa と LegalBERT が、妥当な計算要求を伴う法的 MLC において一貫して良好なパフォーマンスを発揮することを強調しています。
T5 は、ラベル セットが変化する場合でも生成モデルとしての利点を提供しながら、同等のパフォーマンスを示します。
最後に、CrossEncoder は、計算コストは​​増加しますが、マクロ F1 スコアを顕著に向上させる可能性があることを示します。

要約(オリジナル)

Multi-Label Classification (MLC) is a common task in the legal domain, where more than one label may be assigned to a legal document. A wide range of methods can be applied, ranging from traditional ML approaches to the latest Transformer-based architectures. In this work, we perform an evaluation of different MLC methods using two public legal datasets, POSTURE50K and EURLEX57K. By varying the amount of training data and the number of labels, we explore the comparative advantage offered by different approaches in relation to the dataset properties. Our findings highlight DistilRoBERTa and LegalBERT as performing consistently well in legal MLC with reasonable computational demands. T5 also demonstrates comparable performance while offering advantages as a generative model in the presence of changing label sets. Finally, we show that the CrossEncoder exhibits potential for notable macro-F1 score improvements, albeit with increased computational costs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google