Category Query Learning for Human-Object Interaction Classification

要約

より良い人間オブジェクトの特徴を学習することに焦点を当てた以前のほとんどの HOI メソッドとは異なり、カテゴリクエリ学習と呼ばれる斬新で補完的なアプローチを提案します。
このようなクエリは、インタラクション カテゴリに明示的に関連付けられ、トランスフォーマー デコーダーを介して画像固有のカテゴリ表現に変換され、補助的な画像レベルの分類タスクを介して学習されます。
このアイデアは、以前のマルチラベル画像分類法に動機付けられていますが、挑戦的な人間と物体の相互作用分類タスクに初めて適用されます。
私たちの方法は、シンプルで一般的で効果的です。
3 つの代表的な HOI ベースラインで検証され、2 つのベンチマークで最先端の結果を達成しています。

要約(オリジナル)

Unlike most previous HOI methods that focus on learning better human-object features, we propose a novel and complementary approach called category query learning. Such queries are explicitly associated to interaction categories, converted to image specific category representation via a transformer decoder, and learnt via an auxiliary image-level classification task. This idea is motivated by an earlier multi-label image classification method, but is for the first time applied for the challenging human-object interaction classification task. Our method is simple, general and effective. It is validated on three representative HOI baselines and achieves new state-of-the-art results on two benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google