Humans in 4D: Reconstructing and Tracking Humans with Transformers

要約

私たちは人間を再構築し、長期にわたって追跡するアプローチを紹介します。
私たちのアプローチの中核として、ヒューマン メッシュ リカバリのためのネットワークの完全に「変換された」バージョンを提案します。
このネットワーク、HMR 2.0 は最先端技術を進歩させ、これまでは単一の画像から再構成することが困難だった異常なポーズを分析する機能を示しています。
ビデオを分析するには、HMR 2.0 からの 3D 再構成を 3D で動作する追跡システムへの入力として使用します。
これにより、複数の人々に対応し、オクルージョン イベントを通じてアイデンティティを維持できるようになります。
当社の完全なアプローチである 4DHumans は、単眼ビデオから人物を追跡する最先端の結果を実現します。
さらに、動作認識の下流タスクにおける HMR 2.0 の有効性を実証し、以前のポーズベースの動作認識アプローチに比べて大幅な改善を達成しました。
私たちのコードとモデルはプロジェクト Web サイト (https://shubham-goel.github.io/4dhumans/) で入手できます。

要約(オリジナル)

We present an approach to reconstruct humans and track them over time. At the core of our approach, we propose a fully ‘transformerized’ version of a network for human mesh recovery. This network, HMR 2.0, advances the state of the art and shows the capability to analyze unusual poses that have in the past been difficult to reconstruct from single images. To analyze video, we use 3D reconstructions from HMR 2.0 as input to a tracking system that operates in 3D. This enables us to deal with multiple people and maintain identities through occlusion events. Our complete approach, 4DHumans, achieves state-of-the-art results for tracking people from monocular video. Furthermore, we demonstrate the effectiveness of HMR 2.0 on the downstream task of action recognition, achieving significant improvements over previous pose-based action recognition approaches. Our code and models are available on the project website: https://shubham-goel.github.io/4dhumans/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google