Multi-modal reward for visual relationships-based image captioning

要約

ディープ ニューラル ネットワークは、効果的な表現学習とコンテキストベースのコンテンツ生成機能により、自動画像キャプションで有望な結果を達成しています。
最近の画像キャプション手法の多くで使用されている顕著なタイプのディープ フィーチャとして、よく知られているボトムアップ フィーチャは、生の画像から直接抽出されたフィーチャ マップと比較して、画像のさまざまなオブジェクトの詳細な表現を提供します。
ただし、これらのオブジェクト間の関係に関する高レベルのセマンティック情報の欠如は、高価でリソースを必要とする抽出手順にもかかわらず、ボトムアップ機能の重大な欠点です。
キャプション生成で視覚的関係を利用するために、このペーパーでは、画像のシーン グラフから抽出された視覚的関係情報を画像の空間的特徴マップと融合することに基づいて、画像キャプション用のディープ ニューラル ネットワーク アーキテクチャを提案します。
次に、共通の埋め込み空間での言語と視覚の類似性の組み合わせを使用して、提案されたネットワークの深層強化学習のためにマルチモーダル報酬関数が導入されます。
MSCOCO データセットに関する大規模な実験の結果は、提案されたキャプション方法で視覚的な関係を使用することの有効性を示しています。
さらに、結果は、深層強化学習で提案されたマルチモーダル報酬が、より優れたモデル最適化につながり、いくつかの最先端の画像キャプションアルゴリズムを凌駕し、軽量で抽出しやすい画像特徴を使用することを明確に示しています。
提案された方法を構成するコンポーネントの詳細な実験的研究も提示されます。

要約(オリジナル)

Deep neural networks have achieved promising results in automatic image captioning due to their effective representation learning and context-based content generation capabilities. As a prominent type of deep features used in many of the recent image captioning methods, the well-known bottomup features provide a detailed representation of different objects of the image in comparison with the feature maps directly extracted from the raw image. However, the lack of high-level semantic information about the relationships between these objects is an important drawback of bottom-up features, despite their expensive and resource-demanding extraction procedure. To take advantage of visual relationships in caption generation, this paper proposes a deep neural network architecture for image captioning based on fusing the visual relationships information extracted from an image’s scene graph with the spatial feature maps of the image. A multi-modal reward function is then introduced for deep reinforcement learning of the proposed network using a combination of language and vision similarities in a common embedding space. The results of extensive experimentation on the MSCOCO dataset show the effectiveness of using visual relationships in the proposed captioning method. Moreover, the results clearly indicate that the proposed multi-modal reward in deep reinforcement learning leads to better model optimization, outperforming several state-of-the-art image captioning algorithms, while using light and easy to extract image features. A detailed experimental study of the components constituting the proposed method is also presented.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google