GTNet:Guided Transformer Network for Detecting Human-Object Interactions

要約

ヒューマン オブジェクト インタラクション (HOI) 検出タスクは、人間のローカライズ、オブジェクトのローカライズ、および各ヒューマン オブジェクト ペア間の相互作用の予測を指します。
HOI は、複雑なビジュアル シーンを真に理解するための基本的なステップの 1 つと考えられています。
HOI を検出するには、相対的な空間構成とオブジェクトのセマンティクスを利用して、人間とオブジェクトのペア間の相互作用を強調する画像の顕著な空間領域を見つけることが重要です。
この問題は、新しい自己注意ベースのガイド付き変圧器ネットワークである GTNet によって対処されます。
GTNet は、V-COCO と HICO-DET データセットの両方で最先端の結果を達成しながら、自己注意を介して人間とオブジェクトの視覚的特徴にこの空間コンテキスト情報をエンコードします。
コードはオンラインで入手できるようになります。

要約(オリジナル)

The human-object interaction (HOI) detection task refers to localizing humans, localizing objects, and predicting the interactions between each human-object pair. HOI is considered one of the fundamental steps in truly understanding complex visual scenes. For detecting HOI, it is important to utilize relative spatial configurations and object semantics to find salient spatial regions of images that highlight the interactions between human object pairs. This issue is addressed by the novel self-attention based guided transformer network, GTNet. GTNet encodes this spatial contextual information in human and object visual features via self-attention while achieving state of the art results on both the V-COCO and HICO-DET datasets. Code will be made available online.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google