POMP: Probability-driven Meta-graph Prompter for LLMs in Low-resource Unsupervised Neural Machine Translation

要約

低リソース言語 (LRL) は、並列データが限られているために教師付きニューラル機械翻訳において課題に直面しており、教師なし手法の研究が促されています。
逆翻訳、転移学習、ピボットベースの翻訳などの教師なしニューラル機械翻訳 (UNMT) 手法は、LRL 翻訳の実用的なソリューションを提供しますが、合成データ ノイズ、言語バイアス、エラー伝播などの問題によって妨げられます。
大規模言語モデル (LLM) によって軽減される可能性があります。
LLM は、インコンテキスト学習 (ICL) と教師付き微調整手法を備えた高度な NMT を備えていますが、トレーニング データが不十分であると、LRL のパフォーマンスが低下します。
私たちは、LLM は補助言語による言語ノイズを軽減して、LRL での翻訳を改善できると主張します。
この論文では、確率駆動型メタグラフ プロンプター (POMP) を提案します。これは、LLM の LRL に対する翻訳機能を強化するために、複数の補助言語の動的なサンプリング ベースのグラフを採用する新しいアプローチです。
POMP には、各ソース言語の有向非循環メタグラフの構築が含まれます。そこから複数のパスを動的にサンプリングして、LLM に言語ノイズを軽減し、トレーニング中に翻訳を改善するよう促します。
BLEURT メトリクスを使用して翻訳を評価し、スコアによって推定された報酬を逆伝播して、パス内の補助言語の確率を更新します。
私たちの実験では、3 つの LRL の翻訳品質が大幅に向上しており、私たちのアプローチの有効性が実証されています。

要約(オリジナル)

Low-resource languages (LRLs) face challenges in supervised neural machine translation due to limited parallel data, prompting research into unsupervised methods. Unsupervised neural machine translation (UNMT) methods, including back-translation, transfer learning, and pivot-based translation, offer practical solutions for LRL translation, but they are hindered by issues like synthetic data noise, language bias, and error propagation, which can potentially be mitigated by Large Language Models (LLMs). LLMs have advanced NMT with in-context learning (ICL) and supervised fine-tuning methods, but insufficient training data results in poor performance in LRLs. We argue that LLMs can mitigate the linguistic noise with auxiliary languages to improve translations in LRLs. In this paper, we propose Probability-driven Meta-graph Prompter (POMP), a novel approach employing a dynamic, sampling-based graph of multiple auxiliary languages to enhance LLMs’ translation capabilities for LRLs. POMP involves constructing a directed acyclic meta-graph for each source language, from which we dynamically sample multiple paths to prompt LLMs to mitigate the linguistic noise and improve translations during training. We use the BLEURT metric to evaluate the translations and back-propagate rewards, estimated by scores, to update the probabilities of auxiliary languages in the paths. Our experiments show significant improvements in the translation quality of three LRLs, demonstrating the effectiveness of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google