GenTranslate: Large Language Models are Generative Multilingual Speech and Machine Translators

要約

大規模言語モデル (LLM) の最近の進歩により、表現エラーが減少し、外部知識が組み込まれることにより、多言語音声および機械翻訳の開発が前進しました。
ただし、両方の変換タスクは通常、推論のためにビーム検索デコードとトップ 1 仮説選択を利用します。
これらの技術は、多様な N-best 仮説の豊富な情報を十分に活用するのに苦労しており、単一の高品質な出力シーケンスを必要とする翻訳タスクにはあまり最適ではありません。
この論文では、翻訳タスクの新しい生成パラダイム、すなわち「GenTranslate」を提案します。これは、LLM に基づいて、N-best リスト内の多様な翻訳バージョンからより良い結果を生成します。
LLM の豊富な言語知識と強力な推論能力を活用することで、当社の新しいパラダイムは、N の最適な候補に豊富な情報を統合して、より高品質の翻訳結果を生成できます。
さらに、LLM の微調整をサポートするために、11 言語で 592,000 を超える仮説と翻訳のペアを含む HypoTranslate データセットを構築してリリースしています。
さまざまな音声および機械翻訳のベンチマーク (FLEURS、CoVoST-2、WMT など) の実験により、当社の GenTranslate が最先端のモデルを大幅に上回ることが実証されました。

要約(オリジナル)

Recent advances in large language models (LLMs) have stepped forward the development of multilingual speech and machine translation by its reduced representation errors and incorporated external knowledge. However, both translation tasks typically utilize beam search decoding and top-1 hypothesis selection for inference. These techniques struggle to fully exploit the rich information in the diverse N-best hypotheses, making them less optimal for translation tasks that require a single, high-quality output sequence. In this paper, we propose a new generative paradigm for translation tasks, namely ‘GenTranslate’, which builds upon LLMs to generate better results from the diverse translation versions in N-best list. Leveraging the rich linguistic knowledge and strong reasoning abilities of LLMs, our new paradigm can integrate the rich information in N-best candidates to generate a higher-quality translation result. Furthermore, to support LLM finetuning, we build and release a HypoTranslate dataset that contains over 592K hypotheses-translation pairs in 11 languages. Experiments on various speech and machine translation benchmarks (e.g., FLEURS, CoVoST-2, WMT) demonstrate that our GenTranslate significantly outperforms the state-of-the-art model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google