Semi-Weakly Supervised Object Kinematic Motion Prediction

要約

タイトル：半弱教師付きオブジェクト運動予測（Semi-Weakly Supervised Object Kinematic Motion Prediction）

要約：
– キネマティック運動予測は、3Dオブジェクトの移動部分とそれに対応する運動パラメータを特定することを目的とする。
– 3Dオブジェクトの上位構造と幾何学的詳細の両方に大きな変動があるため、このタスクは依然として課題であり、大規模なラベル付きデータの不足も、深層学習ベースのアプローチの性能を制約する原因の1つである。
– この研究では、オブジェクトのキネマティック運動予測問題を、半弱教師付きの方法で取り組むことにより、解決する。
– 提案手法は、二つの観測に基づくものである。一つ目は、完全にアノテーションされた動きのラベル付き3Dデータセットが限られているが、大規模なオブジェクトパーツ意味セグメンテーションデータセットおよび手法が存在することである。二つ目は、意味的なパーツと移動可能なパーツのセグメンテーションが必ずしも一致しないが、移動可能なパーツを根本的な3D構造から検出可能であるということである。
– 検証のために、階層的なパーツレベルセグメンテーションデータセットのPartNetに適用し、グラフニューラルネットワークを提供して、ダウンストリームタスクである運動パラメータの推定に役立てる。
– このネットワークは、完全にラベル付けされたPartNet-Mobilityデータセットでトレーニングされ、それからPartNetデータセットで適用され、前述の深層学習を用いた運動予測法の拡張データによる性能ブーストが示されることができる。

要約(オリジナル)

Given a 3D object, kinematic motion prediction aims to identify the mobile parts as well as the corresponding motion parameters. Due to the large variations in both topological structure and geometric details of 3D objects, this remains a challenging task and the lack of large scale labeled data also constrain the performance of deep learning based approaches. In this paper, we tackle the task of object kinematic motion prediction problem in a semi-weakly supervised manner. Our key observations are two-fold. First, although 3D dataset with fully annotated motion labels is limited, there are existing datasets and methods for object part semantic segmentation at large scale. Second, semantic part segmentation and mobile part segmentation is not always consistent but it is possible to detect the mobile parts from the underlying 3D structure. Towards this end, we propose a graph neural network to learn the map between hierarchical part-level segmentation and mobile parts parameters, which are further refined based on geometric alignment. This network can be first trained on PartNet-Mobility dataset with fully labeled mobility information and then applied on PartNet dataset with fine-grained and hierarchical part-level segmentation. The network predictions yield a large scale of 3D objects with pseudo labeled mobility information and can further be used for weakly-supervised learning with pre-existing segmentation. Our experiments show there are significant performance boosts with the augmented data for previous method designed for kinematic motion prediction on 3D partial scans.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI