Comparison between parameter-efficient techniques and full fine-tuning: A case study on multilingual news article classification

要約

アダプターと低ランク適応 (LoRA) は、言語モデルのトレーニングをより効率的にするために設計されたパラメーター効率の高い微調整手法です。
以前の結果では、これらの方法が一部の分類タスクのパフォーマンスを向上させることさえできることが実証されました。
この論文は、多言語テキスト分類タスク (ジャンル、フレーミング、および説得手法の検出、さまざまな入力長、予測クラスの数) に適用した場合に、完全な微調整と比較して、これらの手法が分類パフォーマンスと計算コストにどのような影響を与えるかを調査することで、既存の研究を補完します。
分類の難易度など）、トレーニング データが限られているものもあります。
さらに、さまざまなトレーニング シナリオ (元の多言語データ、英語への翻訳、および英語のみのデータのサブセットでのトレーニング) およびさまざまな言語にわたるその有効性について詳細な分析を実施します。
私たちの調査結果は、特に複雑な多言語および複数ラベルの分類タスクに対する、パラメーター効率の高い微調整技術の適用可能性についての貴重な洞察を提供します。

要約(オリジナル)

Adapters and Low-Rank Adaptation (LoRA) are parameter-efficient fine-tuning techniques designed to make the training of language models more efficient. Previous results demonstrated that these methods can even improve performance on some classification tasks. This paper complements the existing research by investigating how these techniques influence the classification performance and computation costs compared to full fine-tuning when applied to multilingual text classification tasks (genre, framing, and persuasion techniques detection; with different input lengths, number of predicted classes and classification difficulty), some of which have limited training data. In addition, we conduct in-depth analyses of their efficacy across different training scenarios (training on the original multilingual data; on the translations into English; and on a subset of English-only data) and different languages. Our findings provide valuable insights into the applicability of the parameter-efficient fine-tuning techniques, particularly to complex multilingual and multilabel classification tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google