Agglomerative Transformer for Human-Object Interaction Detection

要約

我々は、Transformer ベースの Human-Object Interaction (HOI) 検出器が追加のインスタンスレベルのキューをシングルステージかつエンドツーエンドの方法で初めて柔軟に活用できるようにする、Agglomerative Transformer (AGER) を提案します。
AGER は、パッチ トークンを動的にクラスタリングし、テキスト ガイダンスを使用してクラスター センターをインスタンスに位置合わせすることによってインスタンス トークンを取得します。これにより、次の 2 つの利点が得られます。 1) 完全性: 各インスタンス トークンには、インスタンスのすべての識別機能領域が含まれることが推奨され、これにより、インスタンスの大幅な改善が示されます。
さまざまなインスタンスレベルのキューを抽出し、その後、HICO-Det で 36.75 mAP による HOI 検出の新しい最先端のパフォーマンスにつながります。
2) 効率: 動的クラスタリング メカニズムにより、AGER は Transformer エンコーダの特徴学習と連携してインスタンス トークンを生成できるため、従来の方法における追加のオブジェクト検出器やインスタンス デコーダの必要性がなくなり、HOI 検出に必要な追加のキューを抽出できるようになります。
シングルステージのエンドツーエンドのパイプラインで。
具体的には、余分なキュー抽出を行わない通常の DETR のようなパイプラインと比較しても、AGER は GFLOP を 8.5% 削減し、FPS を 36% 改善します。

要約(オリジナル)

We propose an agglomerative Transformer (AGER) that enables Transformer-based human-object interaction (HOI) detectors to flexibly exploit extra instance-level cues in a single-stage and end-to-end manner for the first time. AGER acquires instance tokens by dynamically clustering patch tokens and aligning cluster centers to instances with textual guidance, thus enjoying two benefits: 1) Integrality: each instance token is encouraged to contain all discriminative feature regions of an instance, which demonstrates a significant improvement in the extraction of different instance-level cues and subsequently leads to a new state-of-the-art performance of HOI detection with 36.75 mAP on HICO-Det. 2) Efficiency: the dynamical clustering mechanism allows AGER to generate instance tokens jointly with the feature learning of the Transformer encoder, eliminating the need of an additional object detector or instance decoder in prior methods, thus allowing the extraction of desirable extra cues for HOI detection in a single-stage and end-to-end pipeline. Concretely, AGER reduces GFLOPs by 8.5% and improves FPS by 36%, even compared to a vanilla DETR-like pipeline without extra cue extraction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google