IntGrad MT: Eliciting LLMs’ Machine Translation Capabilities with Sentence Interpolation and Gradual MT

要約

最近の大規模言語モデル (LLM) は、追加の並列コーパスを微調整する必要がなく、翻訳において優れたパフォーマンスを発揮します。
ただし、リソースの少ない言語ペアでは依然としてパフォーマンスが劣ります。
これまでの研究では、関連する少数ショットの例や、辞書や文法書などの外部リソースを活用することで、この問題を軽減することに重点を置き、モデルをこれらのノンパラメトリックな情報源に大きく依存させてきました。
この論文では、LLM の固有の変換機能を最大限に活用することに焦点を当てた、IntGrad MT と呼ばれる新しい方法を提案します。
IntGrad MT は、ソース文とモデル独自の翻訳で構成され、段階的に難易度が上がる数ショットの例のチェーンを構築することでこれを実現します。
IntGrad MT は 2 つの技術を採用しています。1 つは簡単な文から難しい文に徐々に変化する一連の文を生成する文補間で、もう 1 つは段階的 MT で、以前の文の翻訳を数ショットの例として使用してこのチェーンを逐次翻訳します。
後続の翻訳。
このアプローチにより、複数の言語、特にヒンディー語 (8.26)、スワヒリ語 (7.10)、ベンガル語 (6.97)、マラーティー語 (13.03) などの低リソース言語で、さまざまな LLM の xCOMET スコアが大幅に向上していることがわかります。
私たちのアプローチは、追加のトレーニングなしで LLM のパフォーマンスを向上させる実用的な方法を示しています。

要約(オリジナル)

Recent Large Language Models (LLMs) have demonstrated strong performance in translation without needing to be finetuned on additional parallel corpora. However, they still underperform for low-resource language pairs. Previous works have focused on mitigating this issue by leveraging relevant few-shot examples or external resources such as dictionaries or grammar books, making models heavily reliant on these nonparametric sources of information. In this paper, we propose a novel method named IntGrad MT that focuses on fully exploiting an LLM’s inherent translation capability. IntGrad MT achieves this by constructing a chain of few-shot examples, each consisting of a source sentence and the model’s own translation, that rise incrementally in difficulty. IntGrad MT employs two techniques: Sentence Interpolation, which generates a sequence of sentences that gradually change from an easy sentence to translate to a difficult one, and Gradual MT, which sequentially translates this chain using translations of earlier sentences as few-shot examples for the translation of subsequent ones. With this approach, we observe a substantial enhancement in the xCOMET scores of various LLMs for multiple languages, especially in low-resource languages such as Hindi(8.26), Swahili(7.10), Bengali(6.97) and Marathi(13.03). Our approach presents a practical way of enhancing LLMs’ performance without extra training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google