Detecting Concrete Visual Tokens for Multimodal Machine Translation

要約

マルチモーダル機械翻訳 (MMT) システムにおける視覚的な根拠とマスキングの課題により、マスキング用の視覚的な根拠のあるテキスト トークンの検出と選択に対するさまざまなアプローチが奨励されています。
自然言語処理 (NLP) による検出、オブジェクト検出による検出、結合検出検証技術など、ソース文から視覚的および文脈的に関連する (具体的な) トークンを検出するための新しい方法を導入します。
また、最短の $n$ トークン、最長の $n$ トークン、検出されたすべての具体的なトークンなど、検出されたトークンを選択するための新しい方法も導入します。
GRAM MMT アーキテクチャを利用して、マスクされた文を含むソース画像の合成的に照合されたマルチモーダル データセットに対してモデルをトレーニングし、ベースライン モデルと比較してパフォーマンスの向上と、翻訳タスク中のビジュアル コンテキストの使用方法の改善を示しています。

要約(オリジナル)

The challenge of visual grounding and masking in multimodal machine translation (MMT) systems has encouraged varying approaches to the detection and selection of visually-grounded text tokens for masking. We introduce new methods for detection of visually and contextually relevant (concrete) tokens from source sentences, including detection with natural language processing (NLP), detection with object detection, and a joint detection-verification technique. We also introduce new methods for selection of detected tokens, including shortest $n$ tokens, longest $n$ tokens, and all detected concrete tokens. We utilize the GRAM MMT architecture to train models against synthetically collated multimodal datasets of source images with masked sentences, showing performance improvements and improved usage of visual context during translation tasks over the baseline model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google