Seeing the Pose in the Pixels: Learning Pose-Aware Representations in Vision Transformers

要約

人間の周囲の認識は、多くの場合、環境内に存在するさまざまな姿勢によって決まります。
人間の行動認識やロボットの模倣学習などのコンピューター ビジョン タスクの多くは、人間の骨格やロボット アームなどのポーズベースのエンティティに依存しています。
ただし、従来の Vision Transformer (ViT) モデルはすべてのパッチを均一に処理し、入力ビデオ内の貴重な事前ポーズを無視します。
私たちは、ポーズを RGB データに組み込むことは、きめの細かい視点に依存しない表現を学習するのに有利であると主張します。
したがって、ViT でポーズを意識した表現を学習するための 2 つの戦略を紹介します。
1 つ目の方法はポーズ認識アテンション ブロック (PAAB) と呼ばれ、ビデオ内のポーズ領域に対して局所的な注意を実行するプラグ アンド プレイの ViT ブロックです。
2 番目の方法はポーズ認識補助タスク (PAAT) と呼ばれ、主な ViT タスクと合わせて最適化された補助姿勢予測タスクを提供します。
機能は異なりますが、どちらの方法も姿勢を意識した表現を学習することに成功し、複数の多様な下流タスクのパフォーマンスを向上させます。
7 つのデータセットにわたって実施された私たちの実験では、3 つのビデオ分析タスクにおける両方の姿勢認識手法の有効性が明らかになり、PAAT が PAAB よりわずかに優れています。
PAAT と PAAB は両方とも、実世界のアクション認識で最大 9.8%、マルチビュー ロボット ビデオ アラインメントで 21.8% それぞれのバックボーン トランスフォーマーを上回っています。
コードは https://github.com/dominickrei/PoseAwareVT で入手できます。

要約(オリジナル)

Human perception of surroundings is often guided by the various poses present within the environment. Many computer vision tasks, such as human action recognition and robot imitation learning, rely on pose-based entities like human skeletons or robotic arms. However, conventional Vision Transformer (ViT) models uniformly process all patches, neglecting valuable pose priors in input videos. We argue that incorporating poses into RGB data is advantageous for learning fine-grained and viewpoint-agnostic representations. Consequently, we introduce two strategies for learning pose-aware representations in ViTs. The first method, called Pose-aware Attention Block (PAAB), is a plug-and-play ViT block that performs localized attention on pose regions within videos. The second method, dubbed Pose-Aware Auxiliary Task (PAAT), presents an auxiliary pose prediction task optimized jointly with the primary ViT task. Although their functionalities differ, both methods succeed in learning pose-aware representations, enhancing performance in multiple diverse downstream tasks. Our experiments, conducted across seven datasets, reveal the efficacy of both pose-aware methods on three video analysis tasks, with PAAT holding a slight edge over PAAB. Both PAAT and PAAB surpass their respective backbone Transformers by up to 9.8% in real-world action recognition and 21.8% in multi-view robotic video alignment. Code is available at https://github.com/dominickrei/PoseAwareVT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google