SCALE: Synergized Collaboration of Asymmetric Language Translation Engines

要約

このペーパーでは、コンパクトな特殊翻訳モデル (STM) と汎用の大規模言語モデル (LLM) を 1 つの統合翻訳エンジンとして接続する協調フレームワークである SCALE を紹介します。
STM からの翻訳をトリプレットのインコンテキスト デモンストレーションに導入することで、SCALE は LLM の改良とピボット機能を解き放ち、LLM の言語バイアスと STM の並列データ バイアスを軽減し、汎用性を犠牲にすることなく LLM の専門性を強化し、高価な LLM 罰金なしで継続的な学習を促進します。
-チューニング。
私たちの包括的な実験では、SCALE が、困難な低リソース設定において、少数ショット LLM (GPT-4) と特殊モデル (NLLB) の両方を大幅に上回るパフォーマンスを示しています。
さらに、コサ語から英語への翻訳では、SCALE は、LLM を調整せずに 4 BLEURT スコアによる一貫した改善を経験し、わずか 600M パラメータで構成されるコンパクトなモデルを装備した場合、数ショット GPT-4 を 2.5 COMET スコアと 3.8 BLEURT スコアで上回りました。
SCALE は、英語中心の STM を任意の言語ペア間の翻訳のピボットとして使用することで、LLM の既存の言語バイアスを効果的に活用することもでき、8 つの翻訳方向にわたって平均 6 COMET ポイントで少数ショット GPT-4 を上回るパフォーマンスを発揮します。
さらに、SCALE の堅牢性、翻訳特性、レイテンシ コストの詳細な分析を提供し、LLM とより専門化されたタスク固有のモデルの間の潜在的な相乗効果を探る将来の研究のための強固な基盤を提供します。

要約(オリジナル)

In this paper, we introduce SCALE, a collaborative framework that connects compact Specialized Translation Models (STMs) and general-purpose Large Language Models (LLMs) as one unified translation engine. By introducing translation from STM into the triplet in-context demonstrations, SCALE unlocks refinement and pivoting ability of LLM, thus mitigating language bias of LLM and parallel data bias of STM, enhancing LLM speciality without sacrificing generality, and facilitating continual learning without expensive LLM fine-tuning. Our comprehensive experiments show that SCALE significantly outperforms both few-shot LLMs (GPT-4) and specialized models (NLLB) in challenging low-resource settings. Moreover, in Xhosa to English translation, SCALE experiences consistent improvement by a 4 BLEURT score without tuning LLM and surpasses few-shot GPT-4 by 2.5 COMET score and 3.8 BLEURT score when equipped with a compact model consisting of merely 600M parameters. SCALE could also effectively exploit the existing language bias of LLMs by using an English-centric STM as a pivot for translation between any language pairs, outperforming few-shot GPT-4 by an average of 6 COMET points across eight translation directions. Furthermore we provide an in-depth analysis of SCALE’s robustness, translation characteristics, and latency costs, providing solid foundation for future studies exploring the potential synergy between LLMs and more specialized, task-specific models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google