Towards Zero-Shot Multimodal Machine Translation

要約

現在のマルチモーダル機械翻訳 (MMT) システムは、完全に監視されたデータに依存しています (つまり、モデルは、翻訳と付随する画像を含む文でトレーニングされます)。
ただし、このタイプのデータは収集にコストがかかるため、そのようなデータが存在しない他の言語ペアへの MMT の拡張は制限されます。
この研究では、マルチモーダル英語データのみを使用して、MMT システムをトレーニングするための完全に教師付きデータの必要性を回避する方法を提案します。
ZeroMMT と呼ばれる私たちの手法は、視覚的に条件付けされたマスク言語モデリングと、元の MMT 出力と新しい MMT 出力の間のカルバック・ライブラーの発散という 2 つの目的を組み合わせてトレーニングすることにより、強力なテキスト専用機械翻訳 (MT) モデルを適応させることで構成されています。
標準的な MMT ベンチマークと、モデルが英語の文章を曖昧さをなくすために画像をどの程度使用しているかを評価することを目的とした、最近リリースされた対照的なベンチマークである CoMMuTE を評価します。
完全に教師付きの例でさらにトレーニングされた最先端の MMT モデルに近い曖昧さ回避パフォーマンスが得られます。
私たちの方法が完全に教師付きのトレーニング データが利用できない言語に一般化できることを証明するために、CoMMuTE 評価データセットを 3 つの新しい言語 (アラビア語、ロシア語、中国語) に拡張しました。
さらに、分類子を使用しないガイダンスを使用し、追加のデータを必要とせずに、推論時に曖昧さ回避機能と翻訳忠実度の間のトレードオフを制御できることを示します。
私たちのコード、データ、トレーニングされたモデルは公的にアクセス可能です。

要約(オリジナル)

Current multimodal machine translation (MMT) systems rely on fully supervised data (i.e models are trained on sentences with their translations and accompanying images). However, this type of data is costly to collect, limiting the extension of MMT to other language pairs for which such data does not exist. In this work, we propose a method to bypass the need for fully supervised data to train MMT systems, using multimodal English data only. Our method, called ZeroMMT, consists in adapting a strong text-only machine translation (MT) model by training it on a mixture of two objectives: visually conditioned masked language modelling and the Kullback-Leibler divergence between the original and new MMT outputs. We evaluate on standard MMT benchmarks and the recently released CoMMuTE, a contrastive benchmark aiming to evaluate how well models use images to disambiguate English sentences. We obtain disambiguation performance close to state-of-the-art MMT models trained additionally on fully supervised examples. To prove that our method generalizes to languages with no fully supervised training data available, we extend the CoMMuTE evaluation dataset to three new languages: Arabic, Russian and Chinese. We further show that we can control the trade-off between disambiguation capabilities and translation fidelity at inference time using classifier-free guidance and without any additional data. Our code, data and trained models are publicly accessible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google