BigVideo: A Large-scale Video Subtitle Translation Dataset for Multimodal Machine Translation

要約

マルチモダリティ機械翻訳の研究を促進するために、大規模な動画字幕翻訳データセットBigVideoを紹介する。広く利用されているHow2やVaTeXデータセットと比較すると、BigVideoは10倍以上の規模であり、450万文対、9,981時間の動画から構成されている。また、視覚情報の必要性を検証するために、意図的に設計された2つのテストセットを紹介する：曖昧な単語が存在するAmbiguousと、テキストの文脈が翻訳に自己完結するUnambiguousである。テキストとビデオに共通するセマンティクスをより適切にモデル化するため、クロスモーダルエンコーダに対比学習法を導入する。BigVideoを用いた広範な実験により、以下のことが示された： a) 視覚情報は、曖昧テストセットと曖昧でないテストセットの両方において、BLEU、BLEURT、COMETの観点から一貫してNMTモデルを改善する。 b) 視覚情報は、専門用語を対象としたスコアと人間による評価において、強力なテキストベースラインと比較して、曖昧性解消に役立つ。データセットと我々の実装はhttps://github.com/DeepLearnXMU/BigVideo-VMT。

要約(オリジナル)

We present a large-scale video subtitle translation dataset, BigVideo, to facilitate the study of multi-modality machine translation. Compared with the widely used How2 and VaTeX datasets, BigVideo is more than 10 times larger, consisting of 4.5 million sentence pairs and 9,981 hours of videos. We also introduce two deliberately designed test sets to verify the necessity of visual information: Ambiguous with the presence of ambiguous words, and Unambiguous in which the text context is self-contained for translation. To better model the common semantics shared across texts and videos, we introduce a contrastive learning method in the cross-modal encoder. Extensive experiments on the BigVideo show that: a) Visual information consistently improves the NMT model in terms of BLEU, BLEURT, and COMET on both Ambiguous and Unambiguous test sets. b) Visual information helps disambiguation, compared to the strong text baseline on terminology-targeted scores and human evaluation. Dataset and our implementations are available at https://github.com/DeepLearnXMU/BigVideo-VMT.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL