Language verY Rare for All

要約

言語の壁を克服するために、NLLB のようなエンコーダー/デコーダー モデルは、機械翻訳を希少言語に拡張し、一部のモデル (NLLB 1.3B など) は単一の GPU でトレーニングすることもできます。
汎用 LLM は翻訳では優れたパフォーマンスを発揮しますが、オープン LLM は、未知のコーパスを含む特定のタスクに合わせて微調整すると、非常に競争力が高いことがわかります。
オープン LLM 微調整、検索拡張生成 (RAG)、および関連する高リソース言語からの転移学習を組み合わせた新しいアプローチである LYRA (Language verY Rare for All) を紹介します。
この調査は、導入を容易にするためにシングル GPU トレーニングのみに焦点を当てています。
私たちの研究は、フランス語とモンエガスク語の間の双方向翻訳に焦点を当てています。この言語は、利用可能なコーパスが限られているため、既存の翻訳ツールではサポートされていない珍しい言語です。
私たちの結果は、まれな言語翻訳において最先端のエンコーダ/デコーダ モデルを頻繁に上回り、一貫して一致する LYRA の有効性を示しています。

要約(オリジナル)

In the quest to overcome language barriers, encoder-decoder models like NLLB have expanded machine translation to rare languages, with some models (e.g., NLLB 1.3B) even trainable on a single GPU. While general-purpose LLMs perform well in translation, open LLMs prove highly competitive when fine-tuned for specific tasks involving unknown corpora. We introduce LYRA (Language verY Rare for All), a novel approach that combines open LLM fine-tuning, retrieval-augmented generation (RAG), and transfer learning from related high-resource languages. This study is exclusively focused on single-GPU training to facilitate ease of adoption. Our study focuses on two-way translation between French and Mon\’egasque, a rare language unsupported by existing translation tools due to limited corpus availability. Our results demonstrate LYRA’s effectiveness, frequently surpassing and consistently matching state-of-the-art encoder-decoder models in rare language translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google