Exploring Better Text Image Translation with Multimodal Codebook

要約

テキストイメージ翻訳（TIT）は、画像に埋め込まれたソーステキストをターゲットとなる訳語に翻訳することを目的としており、その応用範囲は広く、したがって重要な研究価値がある。しかし、TITに関する現在の研究は、主に2つのボトルネックに直面している：1）このタスクには一般に公開されているTITデータセットがない、2）支配的なモデルはカスケード方式で構築されるため、光学文字認識（OCR）のエラー伝播に悩まされる傾向にある。本研究では、まずOCRMT30Kという中英のTITデータセットに注釈を付け、その後の研究に役立てる。そして、マルチモーダルコードブックを用いたTITモデルを提案し、画像と関連するテキストを関連付けることで、翻訳に有用な補足情報を提供することができる。さらに、テキスト機械翻訳、画像-テキストアライメント、TITタスクを含む多段階学習フレームワークを提示し、追加バイリンガルテキスト、OCRデータセット、OCRMT30Kデータセットを十分に活用してモデルを学習させることができる。広範な実験と詳細な分析により、我々の提案するモデルと学習フレームワークの有効性が強く証明された。

要約(オリジナル)

Text image translation (TIT) aims to translate the source texts embedded in the image to target translations, which has a wide range of applications and thus has important research value. However, current studies on TIT are confronted with two main bottlenecks: 1) this task lacks a publicly available TIT dataset, 2) dominant models are constructed in a cascaded manner, which tends to suffer from the error propagation of optical character recognition (OCR). In this work, we first annotate a Chinese-English TIT dataset named OCRMT30K, providing convenience for subsequent studies. Then, we propose a TIT model with a multimodal codebook, which is able to associate the image with relevant texts, providing useful supplementary information for translation. Moreover, we present a multi-stage training framework involving text machine translation, image-text alignment, and TIT tasks, which fully exploits additional bilingual texts, OCR dataset and our OCRMT30K dataset to train our model. Extensive experiments and in-depth analyses strongly demonstrate the effectiveness of our proposed model and training framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL