Can Transformers Capture Spatial Relations between Objects?

要約

物体間の空間的関係は、人間が世界を理解し対話するための重要な情景情報である。現在のコンピュータビジョンシステムが物理的に根拠のある空間関係を認識する能力を研究するために、我々はまず、ベンチマークデータセットに一貫したアノテーションを付けることができる正確な関係定義を提案する。このタスクは認識に関する他の文献と比較して明らかに単純であるにもかかわらず、既存のアプローチはこのベンチマークにおいて低いパフォーマンスしか示さない。我々は、このタスクに対する変換器の長距離注意能力を利用した新しいアプローチを提案し、主要な設計原理を評価する。我々は単純な「RelatiViT」アーキテクチャを特定し、それが現在の全てのアプローチを凌駕することを実証する。我々の知る限り、これは野生の環境における空間的関係予測において、素朴なベースラインを説得力を持って上回った最初の手法である。このコードとデータセットは୧⃛(๑⃙⃘⁼̴̀꒳⁼̴́๑⃙⃘)

要約(オリジナル)

Spatial relationships between objects represent key scene information for humans to understand and interact with the world. To study the capability of current computer vision systems to recognize physically grounded spatial relations, we start by proposing precise relation definitions that permit consistently annotating a benchmark dataset. Despite the apparent simplicity of this task relative to others in the recognition literature, we observe that existing approaches perform poorly on this benchmark. We propose new approaches exploiting the long-range attention capabilities of transformers for this task, and evaluating key design principles. We identify a simple ‘RelatiViT’ architecture and demonstrate that it outperforms all current approaches. To our knowledge, this is the first method to convincingly outperform naive baselines on spatial relation prediction in in-the-wild settings. The code and datasets are available in \url{https://sites.google.com/view/spatial-relation}.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL