Multi-person 3D pose estimation from unlabelled data

要約

その多数のアプリケーションにより、複数人の 3D 姿勢推定が非常に影響力のある研究分野となっています。
それにもかかわらず、複数の通常の RGB カメラで構成されるマルチビュー システムを想定すると、3D マルチポーズ推定にはいくつかの課題が生じます。
まず第一に、カメラによって提供される 2D 情報を分離するには、さまざまなビューで各人物を一意に識別する必要があります。
第 2 に、各人物のマルチビュー 2D 情報からの 3D 姿勢推定プロセスは、シナリオ内のノイズや潜在的なオクルージョンに対して堅牢でなければなりません。
この研究では、深層学習の助けを借りてこれら 2 つの課題に対処します。
具体的には、シナリオ内の人々のクロスビュー対応を予測できるグラフ ニューラル ネットワークに基づくモデルと、2D ポイントを取得して各人物の 3D ポーズを生成する多層パーセプトロンを提示します。
これら 2 つのモデルは自己教師ありの方法でトレーニングされるため、3D アノテーションを備えた大規模なデータセットの必要性が回避されます。

要約(オリジナル)

Its numerous applications make multi-human 3D pose estimation a remarkably impactful area of research. Nevertheless, assuming a multiple-view system composed of several regular RGB cameras, 3D multi-pose estimation presents several challenges. First of all, each person must be uniquely identified in the different views to separate the 2D information provided by the cameras. Secondly, the 3D pose estimation process from the multi-view 2D information of each person must be robust against noise and potential occlusions in the scenario. In this work, we address these two challenges with the help of deep learning. Specifically, we present a model based on Graph Neural Networks capable of predicting the cross-view correspondence of the people in the scenario along with a Multilayer Perceptron that takes the 2D points to yield the 3D poses of each person. These two models are trained in a self-supervised manner, thus avoiding the need for large datasets with 3D annotations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google