Autoregressive Adaptive Hypergraph Transformer for Skeleton-based Activity Recognition

要約

グラフ畳み込みネットワーク (GCN) のみを使用してマルチスケールのコンテキスト情報とスケルトン シーケンス間の高次の相関を抽出するだけでは、効果的なアクション分類には不十分です。
ハイパーグラフ畳み込みは上記の問題に対処しますが、長距離の依存関係を利用することはできません。
Transformer は、これらの依存関係をキャプチャし、複雑なコンテキスト機能にアクセスできるようにするのに効果的であることが証明されています。
我々は、同相 (自己回帰および離散) および異相 (適応) ハイパーグラフ生成のための自己回帰適応型ハイパーグラフ トランスフォーマー (AutoregAd-HGformer) モデルを提案します。
強力な自己回帰学習事前分布を備えたベクトル量子化同相ハイパーグラフは、ハイパーエッジ形成に適した、より堅牢で有益な表現を生成します。
アウトフェーズ ハイパーグラフ ジェネレーターは、入力スケルトンの埋め込みに属性を合わせるための、モデルに依存しないハイパーエッジ学習手法を提供します。
AutoregAd-HGformer のハイブリッド (教師ありおよび教師なし) 学習では、空間、時間、チャネルの次元に沿ってアクションに依存する特徴を調査します。
広範な実験結果とアブレーション研究は、NTU RGB+D、NTU RGB+D 120、および NW-UCLA データセット上の最先端のハイパーグラフ アーキテクチャに対するこのモデルの優位性を示しています。

要約(オリジナル)

Extracting multiscale contextual information and higher-order correlations among skeleton sequences using Graph Convolutional Networks (GCNs) alone is inadequate for effective action classification. Hypergraph convolution addresses the above issues but cannot harness the long-range dependencies. Transformer proves to be effective in capturing these dependencies and making complex contextual features accessible. We propose an Autoregressive Adaptive HyperGraph Transformer (AutoregAd-HGformer) model for in-phase (autoregressive and discrete) and out-phase (adaptive) hypergraph generation. The vector quantized in-phase hypergraph equipped with powerful autoregressive learned priors produces a more robust and informative representation suitable for hyperedge formation. The out-phase hypergraph generator provides a model-agnostic hyperedge learning technique to align the attributes with input skeleton embedding. The hybrid (supervised and unsupervised) learning in AutoregAd-HGformer explores the action-dependent feature along spatial, temporal, and channel dimensions. The extensive experimental results and ablation study indicate the superiority of our model over state-of-the-art hypergraph architectures on NTU RGB+D, NTU RGB+D 120, and NW-UCLA datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google