Comprehending and Ordering Semantics for Image Captioning

要約

画像の豊富なセマンティクスを理解し、それらを言語順に並べることは、画像のキャプションについて視覚的に根拠があり、言語的に一貫した説明を作成するために不可欠です。
現代の技術は、一般に、事前にトレーニングされたオブジェクト検出器/分類器を利用して、画像内のセマンティクスをマイニングしますが、セマンティクスの固有の言語的順序は十分に活用されていません。
この論文では、トランスフォーマースタイルの構造の新しいレシピ、すなわち、意味理解の強化と学習可能な意味順序付けプロセスを単一のアーキテクチャに新たに統合する意味ネットワークの理解と順序付け（COS-Net）を提案します。
技術的には、最初にクロスモーダル検索モデルを使用して各画像の関連する文を検索し、検索された文のすべての単語を主要な意味的手がかりとして使用します。
次に、新しい意味理解者が考案されて、主要な意味的手がかりの中の無関係な意味語を除外し、その間、画像に視覚的に基づいて欠落している関連する意味語を推測します。
その後、スクリーニングされて強化されたすべてのセマンティック単語をセマンティックランカーにフィードします。セマンティックランカーは、すべてのセマンティック単語を言語順に人間として割り当てることを学習します。
このような順序付けられた意味語のシーケンスは、画像の視覚的トークンとさらに統合されて、文の生成をトリガーします。
経験的証拠は、COS-NetがCOCOの最先端のアプローチを明らかに上回り、Karpathyテストスプリットでこれまでで最高のCIDErスコアである141.1％を達成していることを示しています。
ソースコードは\url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/cosnet}で入手できます。

要約(オリジナル)

Comprehending the rich semantics in an image and ordering them in linguistic order are essential to compose a visually-grounded and linguistically coherent description for image captioning. Modern techniques commonly capitalize on a pre-trained object detector/classifier to mine the semantics in an image, while leaving the inherent linguistic ordering of semantics under-exploited. In this paper, we propose a new recipe of Transformer-style structure, namely Comprehending and Ordering Semantics Networks (COS-Net), that novelly unifies an enriched semantic comprehending and a learnable semantic ordering processes into a single architecture. Technically, we initially utilize a cross-modal retrieval model to search the relevant sentences of each image, and all words in the searched sentences are taken as primary semantic cues. Next, a novel semantic comprehender is devised to filter out the irrelevant semantic words in primary semantic cues, and meanwhile infer the missing relevant semantic words visually grounded in the image. After that, we feed all the screened and enriched semantic words into a semantic ranker, which learns to allocate all semantic words in linguistic order as humans. Such sequence of ordered semantic words are further integrated with visual tokens of images to trigger sentence generation. Empirical evidences show that COS-Net clearly surpasses the state-of-the-art approaches on COCO and achieves to-date the best CIDEr score of 141.1% on Karpathy test split. Source code is available at \url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/cosnet}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google