AGAR: Attention Graph-RNN for Adaptative Motion Prediction of Point Clouds of Deformable Objects

要約

この論文は、人体の動きなど、変形可能な 3D オブジェクトの困難なケースにおける点群シーケンスの動き予測に焦点を当てています。
まず、最先端のモデルの技術的限界を理解することを最終目標として、このタイプの表現に存在する変形可能な形状と複雑な動きによって引き起こされる課題を調査します。
この理解に基づいて、変形可能な 3D オブジェクトの点群予測のための改良されたアーキテクチャを提案します。
具体的には、変形可能な形状を処理するために、点群の空間構造を学習して利用して、より代表的な特徴を抽出するグラフベースのアプローチを提案します。
次に、点群の動きに応じて学習された特徴を適応的に組み合わせることができるモジュールを提案します。
提案された適応モジュールは、各ポイントのローカルおよびグローバル モーションの構成を制御し、ネットワークが変形可能な 3D オブジェクトの複雑なモーションをより効果的にモデル化できるようにします。
提案された方法を次のデータセットでテストしました: MNIST の動く数字、Mixamo の人体の動き、JPEG および CWIPC-SXR の実世界の動的物体。
シミュレーション結果は、複雑な動きをモデル化し、点群の形状を保持する能力が向上しているため、私たちの方法が現在のベースライン方法よりも優れていることを示しています。
さらに、MSRAction3D データセットでアクション認識のフレームワークをテストし、最先端の手法と同等の結果を達成することにより、提案された動的特徴学習フレームワークの一般化可能性を実証します。

要約(オリジナル)

This paper focuses on motion prediction for point cloud sequences in the challenging case of deformable 3D objects, such as human body motion. First, we investigate the challenges caused by deformable shapes and complex motions present in this type of representation, with the ultimate goal of understanding the technical limitations of state-of-the-art models. From this understanding, we propose an improved architecture for point cloud prediction of deformable 3D objects. Specifically, to handle deformable shapes, we propose a graph-based approach that learns and exploits the spatial structure of point clouds to extract more representative features. Then we propose a module able to combine the learned features in an adaptative manner according to the point cloud movements. The proposed adaptative module controls the composition of local and global motions for each point, enabling the network to model complex motions in deformable 3D objects more effectively. We tested the proposed method on the following datasets: MNIST moving digits, the Mixamo human bodies motions, JPEG and CWIPC-SXR real-world dynamic bodies. Simulation results demonstrate that our method outperforms the current baseline methods given its improved ability to model complex movements as well as preserve point cloud shape. Furthermore, we demonstrate the generalizability of the proposed framework for dynamic feature learning, by testing the framework for action recognition on the MSRAction3D dataset and achieving results on-par with state-of-the-art methods

arxiv情報

提供元, 利用サービス

arxiv.jp, Google