Unlocking Parameter-Efficient Fine-Tuning for Low-Resource Language Translation

要約

パラメータ効率の良い微調整 (PEFT) 手法は、大規模な事前トレーニング済み言語モデルをさまざまなタスクに適応させ、適応性と計算効率のバランスを提供する上でますます重要になっています。
これらは、低リソース言語 (LRL) ニューラル機械翻訳 (NMT) において、最小限のリソースで翻訳精度を高めるために重要です。
ただし、実際の有効性は言語によって大きく異なります。
SacreBLEU スコアを使用して、合計 15 のアーキテクチャで 8 つの PEFT メソッドのパフォーマンスを評価するために、さまざまな LRL ドメインとサイズで包括的な実証実験を実施しました。
6 つの PEFT アーキテクチャがドメイン内テストとドメイン外テストの両方でベースラインを上回り、Houlsby+Inversion アダプターが全体的に最高のパフォーマンスを示し、PEFT 手法の有効性を証明しました。

要約(オリジナル)

Parameter-efficient fine-tuning (PEFT) methods are increasingly vital in adapting large-scale pre-trained language models for diverse tasks, offering a balance between adaptability and computational efficiency. They are important in Low-Resource Language (LRL) Neural Machine Translation (NMT) to enhance translation accuracy with minimal resources. However, their practical effectiveness varies significantly across different languages. We conducted comprehensive empirical experiments with varying LRL domains and sizes to evaluate the performance of 8 PEFT methods with in total of 15 architectures using the SacreBLEU score. We showed that 6 PEFT architectures outperform the baseline for both in-domain and out-domain tests and the Houlsby+Inversion adapter has the best performance overall, proving the effectiveness of PEFT methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google