A Mixer Layer is Worth One Graph Convolution: Unifying MLP-Mixers and GCNs for Human Motion Prediction

要約

タイトル：Mixer Layerは1つのグラフ畳み込みに値する：人の動き予測のためのMLP-MixersとGCNsを統一化する

要約：
– GCNsは、人の動き予測においては支配的だが、その性能はまだ十分ではない。
– 最近、MLP-Mixersはより効率的かつシンプルでありながら、競争力のある結果を示している。
– 特徴を抽出するために、GCNsは通常、集約と更新のパラダイムに従い、Mixersはトークン混合とチャネル混合の操作に頼っている。
– 2つの研究分野は独立して確立されている。
– 本論文では、MixersとGCNsを統合することによって新しい視点を開発する。
– ミキサーレイヤーはパラメータ化された隣接リストを持つ完全接続グラフに適用されたグラフ畳み込み層と見なすことができることが示される。
– この理論的な発見を実践側に拡張し、Meta-Mixing Network（M^2-Net）を提案する。
– 幼い集約操作を使用して、いらだち構造恒不変と構造感受性の依存性の両方を協調的に捕捉できる。
– 計算効率も重要な性能も兼ね備えており、Human3.6M、AMASS、3DPWのデータセットでの幅広い評価の結果、M^2-Netは常に他のアプローチを上回っている。
– 研究コードは公開される予定である。

要約(オリジナル)

The past few years has witnessed the dominance of Graph Convolutional Networks (GCNs) over human motion prediction, while their performance is still far from satisfactory. Recently, MLP-Mixers show competitive results on top of being more efficient and simple. To extract features, GCNs typically follow an aggregate-and-update paradigm, while Mixers rely on token mixing and channel mixing operations. The two research paths have been independently established in the community. In this paper, we develop a novel perspective by unifying Mixers and GCNs. We show that a mixer layer can be seen as a graph convolutional layer applied to a fully-connected graph with parameterized adjacency. Extending this theoretical finding to the practical side, we propose Meta-Mixing Network (M$^2$-Net). Assisted with a novel zero aggregation operation, our network is capable of capturing both the structure-agnostic and the structure-sensitive dependencies in a collaborative manner. Not only is it computationally efficient, but most importantly, it also achieves state-of-the-art performance. An extensive evaluation on the Human3.6M, AMASS, and 3DPW datasets shows that M$^2$-Net consistently outperforms all other approaches. We hope our work brings the community one step further towards truly predictable human motion. Our code will be publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI