Best Practices for 2-Body Pose Forecasting

要約

タイトル：2体ポーズ予測のベストプラクティス
要約：
– 協調ヒューマンポーズ予測タスクは、以前のフレームでのポーズを与えた場合に、複数の相互作用する人々の将来のポーズを予測することを指します。
– 2人の相互作用を予測することは、それぞれを個別に予測するよりも、体-体の運動相関によりより良いパフォーマンスが得られるため、有望です。
– しかし、このタスクは今までほとんど研究されていませんでした。
– この論文では、人間のポーズ予測の進捗状況を見直し、2体協力運動予測に最適な単一人物のプラクティスを詳細に評価します。
– 私たちの研究は、周波数入力表現、空間-時間分離可能な完全学習可能な相互作用接続性によるエンコードGCNおよびFCデコードの場合、ポジティブな影響を確認しました。
– 他の単一人物のプラクティスは2体に転換できないため、提案されたものに階層的な体のモデリングやアテンションベースの相互作用エンコーディングは含まれていません。
– また、エンコーダーの2身体空間相互作用パラメーターの新しい初期化手順を貢献し、パフォーマンスと安定性に役立ちました。
– すべて合わせて、私たちの提案された2体ポーズ予測のベストプラクティスは、最新のExPIデータセットで最新技術に比べて21.9％の性能向上をもたらします。新しい初期化は、そのうちの3.5％を占めています。プロジェクトページはこちら https://www.pinlab.org/bestpractices2body

要約(オリジナル)

The task of collaborative human pose forecasting stands for predicting the future poses of multiple interacting people, given those in previous frames. Predicting two people in interaction, instead of each separately, promises better performance, due to their body-body motion correlations. But the task has remained so far primarily unexplored. In this paper, we review the progress in human pose forecasting and provide an in-depth assessment of the single-person practices that perform best for 2-body collaborative motion forecasting. Our study confirms the positive impact of frequency input representations, space-time separable and fully-learnable interaction adjacencies for the encoding GCN and FC decoding. Other single-person practices do not transfer to 2-body, so the proposed best ones do not include hierarchical body modeling or attention-based interaction encoding. We further contribute a novel initialization procedure for the 2-body spatial interaction parameters of the encoder, which benefits performance and stability. Altogether, our proposed 2-body pose forecasting best practices yield a performance improvement of 21.9% over the state-of-the-art on the most recent ExPI dataset, whereby the novel initialization accounts for 3.5%. See our project page at https://www.pinlab.org/bestpractices2body

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI