Show Me the World in My Language: Establishing the First Baseline for Scene-Text to Scene-Text Translation

要約

この研究では、シーンのテキストをソース言語 (ヒンディー語など) からターゲット言語 (英語など) に視覚的に翻訳するタスクを研究します。
視覚的な翻訳には、シーン テキストの認識と翻訳だけでなく、フォント、サイズ、背景などのソース シーン テキストの視覚的特徴を保持する翻訳済みイメージの生成も含まれます。
このタスクには、限られたコンテキストでの翻訳、翻訳と音訳のどちらの決定、固定された空間境界内でのさまざまなテキストの長さへの対応、ターゲット言語でのソース シーン テキストのフォントと背景のスタイルの保持など、いくつかの課題が伴います。
この問題に対処するために、私たちは次の貢献を行います。 (i) 文献で初めて視覚翻訳を独立した問題として研究します。
(ii) タスクのベースラインとして、シーン テキスト認識、機械翻訳、およびシーン テキスト合成のための最先端のモジュールを組み合わせた、視覚翻訳のためのカスケード フレームワークを提示します。
(iii) パフォーマンスを向上させるためにベースラインのバリアントを設計するための、タスク固有の一連の設計強化を提案します。
(iv) 現在、既存の関連文献には、この新しいタスクに対する包括的なパフォーマンス評価が不足しています。
このギャップを埋めるために、視覚的な翻訳を評価するために明示的に設計された、いくつかの自動およびユーザー支援の評価指標を導入します。
さらに、シーンテキストをヒンディー語と英語の間で翻訳するために提示されたベースラインを評価します。
私たちの実験では、シーンのテキスト画像の大規模なコレクションに対して視覚的翻訳を効果的に実行できるものの、提示されたベースラインは視覚的翻訳タスクによってもたらされる課題に部分的にしか対処していないことを示しています。
この論文で報告されているように、この新しい課題と既存のモデルの限界により、視覚翻訳のさらなる研究が促進されるはずであると私たちは確信しています。

要約(オリジナル)

In this work, we study the task of visually translating scene text from a source language (e.g., Hindi) to a target language (e.g., English). Visual translation involves not just the recognition and translation of scene text but also the generation of the translated image that preserves visual features of the source scene text, such as font, size, and background. There are several challenges associated with this task, such as translation with limited context, deciding between translation and transliteration, accommodating varying text lengths within fixed spatial boundaries, and preserving the font and background styles of the source scene text in the target language. To address this problem, we make the following contributions: (i) We study visual translation as a standalone problem for the first time in the literature. (ii) We present a cascaded framework for visual translation that combines state-of-the-art modules for scene text recognition, machine translation, and scene text synthesis as a baseline for the task. (iii) We propose a set of task-specific design enhancements to design a variant of the baseline to obtain performance improvements. (iv) Currently, the existing related literature lacks any comprehensive performance evaluation for this novel task. To fill this gap, we introduce several automatic and user-assisted evaluation metrics designed explicitly for evaluating visual translation. Further, we evaluate presented baselines for translating scene text between Hindi and English. Our experiments demonstrate that although we can effectively perform visual translation over a large collection of scene text images, the presented baseline only partially addresses challenges posed by visual translation tasks. We firmly believe that this new task and the limitations of existing models, as reported in this paper, should encourage further research in visual translation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google