Arti-PG: A Toolbox for Procedurally Synthesizing Large-Scale and Diverse Articulated Objects with Rich Annotations

要約

相当量の 3D 多関節オブジェクト データの取得には費用と時間がかかり、その結果、3D 多関節オブジェクト データの不足が、さまざまな多関節オブジェクトの理解タスクで顕著なパフォーマンスを達成する深層学習手法にとって障害となります。
一方、これらのオブジェクト データと詳細な注釈を組み合わせて、さまざまなタスクのトレーニングを可能にすることも困難であり、多大な労力を要します。
トレーニング用の包括的かつ詳細な注釈を備えた多数の 3D 多関節オブジェクトを迅速に収集するために、Arti-PG ツールボックスとも呼ばれる多関節オブジェクト プロシージャル生成ツールボックスを提案します。
Arti-PG ツールボックスは、i) 一般化された構造プログラムによる多関節オブジェクトの記述と、オブジェクトの点群への解析的対応、ii) 大規模で多様な新しい多関節オブジェクトを合成するための構造プログラムの操作に関する手順ルールで構成されます。
オブジェクト、および iii) 合成されたオブジェクトに注釈を提供するための知識の数学的記述 (アフォーダンス、セマンティクスなど)。
Arti-PG には、多関節オブジェクト理解タスク用のトレーニング データを提供するための 2 つの魅力的な特性があります。i) プログラム指向の構造操作により、無限の形状変化を持つオブジェクトが作成されます。ii) Arti-PG は、包括的で包括的なタスクを簡単に提供することで、多様なタスクに広く適用できます。
詳細な注釈。
Arti-PG は、26 カテゴリの関節オブジェクトの手続き型生成をサポートし、視覚タスクと操作タスクの両方に幅広い注釈を提供します。また、その利点を十分に実証する徹底的な実験を提供します。
Arti-PG ツールボックスをコミュニティが使用できるように公開します。

要約(オリジナル)

The acquisition of substantial volumes of 3D articulated object data is expensive and time-consuming, and consequently the scarcity of 3D articulated object data becomes an obstacle for deep learning methods to achieve remarkable performance in various articulated object understanding tasks. Meanwhile, pairing these object data with detailed annotations to enable training for various tasks is also difficult and labor-intensive to achieve. In order to expeditiously gather a significant number of 3D articulated objects with comprehensive and detailed annotations for training, we propose Articulated Object Procedural Generation toolbox, a.k.a. Arti-PG toolbox. Arti-PG toolbox consists of i) descriptions of articulated objects by means of a generalized structure program along with their analytic correspondence to the objects’ point cloud, ii) procedural rules about manipulations on the structure program to synthesize large-scale and diverse new articulated objects, and iii) mathematical descriptions of knowledge (e.g. affordance, semantics, etc.) to provide annotations to the synthesized object. Arti-PG has two appealing properties for providing training data for articulated object understanding tasks: i) objects are created with unlimited variations in shape through program-oriented structure manipulation, ii) Arti-PG is widely applicable to diverse tasks by easily providing comprehensive and detailed annotations. Arti-PG now supports the procedural generation of 26 categories of articulate objects and provides annotations across a wide range of both vision and manipulation tasks, and we provide exhaustive experiments which fully demonstrate its advantages. We will make Arti-PG toolbox publicly available for the community to use.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google