Who are you referring to? Coreference resolution in image narrations

要約

共参照の解決は、テキスト内の同じエンティティを参照する単語やフレーズを識別することを目的としています。これは、自然言語処理のコア タスクです。
この論文では、このタスクを拡張して、視覚シーンの長い形式のナレーションにおける相互参照を解決します。
最初に、注釈付きの共参照チェーンとその境界ボックスを備えた新しいデータセットを導入します。ほとんどの既存の画像テキスト データセットには、共参照表現やラベル付きチェーンのない短い文しか含まれていないためです。
画像とテキストのペアと事前の言語知識を使用した正則化のみから、弱い監督を使用して共参照チェーンを識別することを学習する新しい手法を提案します。
私たちのモデルは、相互参照の解決において、いくつかの強力なベースラインよりも大きなパフォーマンスの向上をもたらします。
また、相互参照の解決が画像のグラウンディング ナラティブの改善に役立つことも示しています。

要約(オリジナル)

Coreference resolution aims to identify words and phrases which refer to same entity in a text, a core task in natural language processing. In this paper, we extend this task to resolving coreferences in long-form narrations of visual scenes. First we introduce a new dataset with annotated coreference chains and their bounding boxes, as most existing image-text datasets only contain short sentences without coreferring expressions or labeled chains. We propose a new technique that learns to identify coreference chains using weak supervision, only from image-text pairs and a regularization using prior linguistic knowledge. Our model yields large performance gains over several strong baselines in resolving coreferences. We also show that coreference resolution helps improving grounding narratives in images.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google