GSRFormer: Grounded Situation Recognition Transformer with Alternate Semantic Attention Refinement

要約

Grounded Situation Recognition (GSR) は、「人間のような」イベントの理解のために、構造化された画像のセマンティック サマリーを生成することを目的としています。
具体的には、GSR タスクは、顕著なアクティビティの動詞 (購入など) を検出するだけでなく、対応するすべてのセマンティック ロール (エージェントと商品など) も予測します。
オブジェクト検出と画像キャプション タスクに着想を得た既存の方法は、通常、2 段階のフレームワークを採用しています。
明らかに、この非論理的なフレームワークは意味理解にとって大きな障害となります。
第 1 に、意味的役割を持たない動詞のみを事前に検出すると、必然的に多くの同様の日常活動 (提供と提供、購入と販売など) を区別できなくなります。
第二に、閉じた自己回帰的な方法で意味的役割を予測しても、動詞と役割の間の意味的関係を利用することはほとんどできません。
この目的のために、この論文では、動詞と役割内でそのような双方向の関係を利用することに焦点を当てた、新しい2段階のフレームワークを提案します。
最初の段階では、動詞を事前に検出する代わりに、検出ステップを延期し、対応する各意味役割の中間表現が画像から学習される疑似ラベルを想定します。
第 2 段階では、トランスフォーマー層を活用して、動詞と意味役割の両方の潜在的な意味関係を明らかにします。
サポート画像のセットの助けを借りて、結果を同時に最適化する代替学習スキームが設計されています。画像に対応する名詞を使用して動詞を更新し、サポート画像の動詞を使用して名詞を更新します。
挑戦的な SWiG ベンチマークに関する広範な実験結果は、私たちの改良されたフレームワークがさまざまな指標の下で他の最先端の方法よりも優れていることを示しています。

要約(オリジナル)

Grounded Situation Recognition (GSR) aims to generate structured semantic summaries of images for ‘human-like’ event understanding. Specifically, GSR task not only detects the salient activity verb (e.g. buying), but also predicts all corresponding semantic roles (e.g. agent and goods). Inspired by object detection and image captioning tasks, existing methods typically employ a two-stage framework: 1) detect the activity verb, and then 2) predict semantic roles based on the detected verb. Obviously, this illogical framework constitutes a huge obstacle to semantic understanding. First, pre-detecting verbs solely without semantic roles inevitably fails to distinguish many similar daily activities (e.g., offering and giving, buying and selling). Second, predicting semantic roles in a closed auto-regressive manner can hardly exploit the semantic relations among the verb and roles. To this end, in this paper we propose a novel two-stage framework that focuses on utilizing such bidirectional relations within verbs and roles. In the first stage, instead of pre-detecting the verb, we postpone the detection step and assume a pseudo label, where an intermediate representation for each corresponding semantic role is learned from images. In the second stage, we exploit transformer layers to unearth the potential semantic relations within both verbs and semantic roles. With the help of a set of support images, an alternate learning scheme is designed to simultaneously optimize the results: update the verb using nouns corresponding to the image, and update nouns using verbs from support images. Extensive experimental results on challenging SWiG benchmarks show that our renovated framework outperforms other state-of-the-art methods under various metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google