Detecting and Grounding Important Characters in Visual Stories

要約

タイトル：ビジュアルストーリーの重要なキャラクターの検出とグラウンディング

要約：
– キャラクターはどんなストーリーにおいても重要である。
– ストーリーを書く前にキャラクターを確立することで、プロットの明確さや物語の全体的な流れが向上することがある。
– しかし、以前のビジュアルストーリーテリングに関する研究では、画像中のオブジェクトの検出やそれらの関係の発見に重点が置かれがちであった。このアプローチでは、キャラクターが生成パイプラインに入力される場合に他のオブジェクトと区別されないことがある。その結果、キャラクター中心のストーリーではなく、連続したイベントのシーケンスが生成されることがある。
– この制限に対処するために、VIST-Characterデータセットを紹介し、キャラクターに関する詳細な注釈を提供する。その注釈には、キャラクターの視覚的およびテキスト上の共参照チェーン、およびキャラクターの重要度の評価が含まれる。
– このデータセットを基に、2つの新しいタスク、重要なキャラクターの検出とビジュアルストーリーにおけるキャラクターのグラウンディングを提案している。
– 両タスクに対して、分布類似性やプレトレーニングされたビジョン・アンド・ランゲージモデルに基づくシンプルかつ非監督モデルを開発した。
– この新しいデータセットとこれらのモデルは、キャラクター中心の観点からのストーリーの分析や生成に向けた後続の研究の基盤として役立つことができる。

要約(オリジナル)

Characters are essential to the plot of any story. Establishing the characters before writing a story can improve the clarity of the plot and the overall flow of the narrative. However, previous work on visual storytelling tends to focus on detecting objects in images and discovering relationships between them. In this approach, characters are not distinguished from other objects when they are fed into the generation pipeline. The result is a coherent sequence of events rather than a character-centric story. In order to address this limitation, we introduce the VIST-Character dataset, which provides rich character-centric annotations, including visual and textual co-reference chains and importance ratings for characters. Based on this dataset, we propose two new tasks: important character detection and character grounding in visual stories. For both tasks, we develop simple, unsupervised models based on distributional similarity and pre-trained vision-and-language models. Our new dataset, together with these models, can serve as the foundation for subsequent work on analysing and generating stories from a character-centric perspective.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI