Vision Transformer Based Model for Describing a Set of Images as a Story

要約

ビジュアルストーリーテリングは、画像の集合から複数文のストーリーを形成するプロセスである。入力画像に含まれる視覚的な変化や文脈情報を適切に含めることは、ビジュアルストーリーテリングの最も難しい側面の1つである。そのため、画像の集合から生成されるストーリーは、しばしば、まとまりや関連性、意味的な関係性に欠ける。本論文では、画像の集合を物語として記述するための新しいVision Transformer Based Modelを提案する。提案手法は、Vision Transformer (ViT)を用いて、入力画像の特徴を抽出する。まず、入力画像は16X16のパッチに分割され、平坦化されたパッチの線形射影に束ねられる。単一画像から複数の画像パッチへの変換により、入力された視覚的パターンの多様性を捉えることができる。これらの特徴は、シーケンスエンコーダの一部である双方向LSTMへの入力として使用される。これにより、すべての画像パッチの過去と未来の画像コンテキストが把握される。次に、アテンション機構を実装し、言語モデル（Mogrifier-LSTM）に入力されるデータの識別能力を向上させるために用いる。提案モデルの性能はVisual Story-Telling dataset (VIST)を用いて評価され、その結果、提案モデルは現在の最先端モデルを凌駕していることが示された。

要約(オリジナル)

Visual Story-Telling is the process of forming a multi-sentence story from a set of images. Appropriately including visual variation and contextual information captured inside the input images is one of the most challenging aspects of visual storytelling. Consequently, stories developed from a set of images often lack cohesiveness, relevance, and semantic relationship. In this paper, we propose a novel Vision Transformer Based Model for describing a set of images as a story. The proposed method extracts the distinct features of the input images using a Vision Transformer (ViT). Firstly, input images are divided into 16X16 patches and bundled into a linear projection of flattened patches. The transformation from a single image to multiple image patches captures the visual variety of the input visual patterns. These features are used as input to a Bidirectional-LSTM which is part of the sequence encoder. This captures the past and future image context of all image patches. Then, an attention mechanism is implemented and used to increase the discriminatory capacity of the data fed into the language model, i.e. a Mogrifier-LSTM. The performance of our proposed model is evaluated using the Visual Story-Telling dataset (VIST), and the results show that our model outperforms the current state of the art models.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL