Semi-Weakly Supervised Object Kinematic Motion Prediction

要約

タイトル：半弱教師付きオブジェクト運動学的動き予測
要約：
– 3Dオブジェクトでは、運動学的動き予測は、可動部品とそれに対応する動きパラメーターを特定することを目的とします。
– しかし、3Dオブジェクトのトポロジー構造と幾何学的詳細には大きな変動があり、ディープラーニングベースのアプローチの性能を制限するため、大規模なラベル付けデータの欠如があります。
– この論文では、オブジェクト運動学的動き予測の問題を半弱教師付きで取り組みます。
– 二つのキーポイントがあります。1つ目は、完全にアノテーションされた動きラベルを持つ3Dデータセットには限りがあるが、大規模で物体の部分認識がされた既存のデータセットと方法があることです。
– 2つ目は、物体パーツのセグメンテーションと可動部品のセグメンテーションが常に一致するわけではないが、高次のセグメンテーション構造から可動部品を検出することができるということです。
– そのため、パーティションレベルセグメンテーションと可動部品のパラメーターのマップを学習するためにグラフニューラルネットワークを提案します。これらは、幾何学的整列に基づいてさらに改良されます。
– このネットワークは、最初にFully Labeled Mobility Informationを持つPartNet-Mobilityデータセットでトレーニングされ、その後、部分的にスキャンされた3Dオブジェクトの細かく階層的な部分レベルのセグメンテーションが行われたPartNetデータセットに適用されます。
– これにより、ネットワーク予測によって擬似ラベルを持つ大規模な3Dオブジェクトが得られ、既存のセグメンテーションを用いた弱教師付き学習にさらに使用することができます。
– 実験結果から、3D局所スキャンの運動学的動き予測のために設計された以前の方法にデータ拡張があると性能が向上することが明らかになりました。

要約(オリジナル)

Given a 3D object, kinematic motion prediction aims to identify the mobile parts as well as the corresponding motion parameters. Due to the large variations in both topological structure and geometric details of 3D objects, this remains a challenging task and the lack of large scale labeled data also constrain the performance of deep learning based approaches. In this paper, we tackle the task of object kinematic motion prediction problem in a semi-weakly supervised manner. Our key observations are two-fold. First, although 3D dataset with fully annotated motion labels is limited, there are existing datasets and methods for object part semantic segmentation at large scale. Second, semantic part segmentation and mobile part segmentation is not always consistent but it is possible to detect the mobile parts from the underlying 3D structure. Towards this end, we propose a graph neural network to learn the map between hierarchical part-level segmentation and mobile parts parameters, which are further refined based on geometric alignment. This network can be first trained on PartNet-Mobility dataset with fully labeled mobility information and then applied on PartNet dataset with fine-grained and hierarchical part-level segmentation. The network predictions yield a large scale of 3D objects with pseudo labeled mobility information and can further be used for weakly-supervised learning with pre-existing segmentation. Our experiments show there are significant performance boosts with the augmented data for previous method designed for kinematic motion prediction on 3D partial scans.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI