DEVICE: DEpth and VIsual ConcEpts Aware Transformer for TextCaps

要約

テキストベースの画像キャプションは、視覚的なオブジェクトとシーンのテキストを含む説明を生成することを目的とした重要なタスクですが、まだ調査されていません。
最近の研究は有望な進歩を遂げましたが、シーンの全体的な理解の欠如と不正確なキャプションの生成にまだ苦しんでいます.
考えられる理由の 1 つは、現在の研究が主に、深さ情報なしでシーン テキストの平面レベルの幾何学的関係を構築することに焦点を当てていることです。
これにより、シーン テキストのリレーショナル推論が不十分になり、モデルがシーン テキストを不正確に記述する可能性があります。
もう 1 つの考えられる理由は、既存のメソッドが一部のビジュアル オブジェクトの詳細な説明を生成できないことです。
さらに、重要な視覚オブジェクトを無視する可能性があり、これらの無視されたオブジェクトに属するシーン テキストが利用されない可能性があります。
上記の問題に対処するために、TextCaps 用の DEpth and VIsual ConcEpts Aware Transformer (DEVICE) を提案します。
具体的には、3 次元の幾何学的関係を構築するために、深さ情報を導入し、OCR トークン機能を改善するための深さ強化機能更新モジュールを提案します。
より正確で包括的なキャプションを生成するために、検出された視覚オブジェクトの概念のセマンティック機能を補助情報として導入します。
私たちの DEVICE は、シーンをより包括的に一般化し、記述されたビジュアル エンティティの精度を高めることができます。
十分な実験により、提案された DEVICE の有効性が実証されました。これは、TextCaps テスト セットで最先端のモデルよりも優れています。
私たちのコードは公開されます。

要約(オリジナル)

Text-based image captioning is an important but under-explored task, aiming to generate descriptions containing visual objects and scene text. Recent studies have made encouraging progress, but they are still suffering from a lack of overall understanding of scenes and generating inaccurate captions. One possible reason is that current studies mainly focus on constructing the plane-level geometric relationship of scene text without depth information. This leads to insufficient scene text relational reasoning so that models may describe scene text inaccurately. The other possible reason is that existing methods fail to generate fine-grained descriptions of some visual objects. In addition, they may ignore essential visual objects, leading to the scene text belonging to these ignored objects not being utilized. To address the above issues, we propose a DEpth and VIsual ConcEpts Aware Transformer (DEVICE) for TextCaps. Concretely, to construct three-dimensional geometric relations, we introduce depth information and propose a depth-enhanced feature updating module to ameliorate OCR token features. To generate more precise and comprehensive captions, we introduce semantic features of detected visual object concepts as auxiliary information. Our DEVICE is capable of generalizing scenes more comprehensively and boosting the accuracy of described visual entities. Sufficient experiments demonstrate the effectiveness of our proposed DEVICE, which outperforms state-of-the-art models on the TextCaps test set. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google