Exploring the Necessity of Visual Modality in Multimodal Machine Translation using Authentic Datasets

要約

マルチモーダル機械翻訳 (MMT) の分野における最近の研究では、視覚的なモダリティが不要であるか、わずかな利点しか提供しないことが示されています。
ただし、これらの結論のほとんどは、Multi30k などの限られたバイリンガルの文と画像のペアのセットに基づく実験結果の分析から得られます。
この種のデータセットでは、1 つの対訳対訳文の内容が、手動で注釈を付けられた画像によって適切に表現される必要がありますが、これは現実世界の翻訳シナリオとは異なります。
この研究では、Tang らによって提案されたユニバーサル マルチモーダル機械翻訳フレームワークに準拠しています。
（2022年）。
このアプローチにより、現実世界の翻訳データセットを活用して、翻訳の効率に対する視覚モダリティの影響を詳しく調べることができます。
調査タスクによる包括的な調査を通じて、視覚的なモダリティが本物の翻訳データセットの大部分にとって有利であることが判明しました。
特に、翻訳のパフォーマンスは主に、テキストとビジュアルのコンテンツ間の整合性と一貫性に左右されます。
さらに、我々の結果は、視覚情報がマルチモーダル翻訳において補助的な役割を果たしており、代替できることを示唆しています。

要約(オリジナル)

Recent research in the field of multimodal machine translation (MMT) has indicated that the visual modality is either dispensable or offers only marginal advantages. However, most of these conclusions are drawn from the analysis of experimental results based on a limited set of bilingual sentence-image pairs, such as Multi30k. In these kinds of datasets, the content of one bilingual parallel sentence pair must be well represented by a manually annotated image, which is different from the real-world translation scenario. In this work, we adhere to the universal multimodal machine translation framework proposed by Tang et al. (2022). This approach allows us to delve into the impact of the visual modality on translation efficacy by leveraging real-world translation datasets. Through a comprehensive exploration via probing tasks, we find that the visual modality proves advantageous for the majority of authentic translation datasets. Notably, the translation performance primarily hinges on the alignment and coherence between textual and visual contents. Furthermore, our results suggest that visual information serves a supplementary role in multimodal translation and can be substituted.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google