Structure from Action: Learning Interactions for Articulated Object 3D Structure Discovery

要約

タイトル：アーティキュレーションオブジェクト3D構造発見のための相互作用の学習：アクションから構造を推測する

要約：

– 「Structure from Action（SfA）」は、推定された相互作用のシーケンスを介して、見たことのないアーティキュレーションオブジェクトの3Dパーツジオメトリと関節パラメータを発見するフレームワークを導入する。
– SfAの主な洞察は、トレーニング中に見たことのないカテゴリに特に適して、3D相互作用と知覚を同時に考慮して、3DアーティキュレートCADモデルを構築する必要があるということである。
– SfAは、情報源となる相互作用を選択することにより、パーツを発見し、閉じた引き出しの内部などの隠れた表面を明らかにします。
– 3Dで視覚観察を集約することにより、SfAは複数の部品を正確にセグメント化し、部品のジオメトリを再構築し、標準的な座標フレームですべての関節パラメータを推定します。
– 実験は、シミュレーションでトレーニングされたSfAモデルが、多様な構造を持つ多数の未知のオブジェクトカテゴリや現実世界のオブジェクトに一般化できることを示しています。
– 実証実験では、SfAは、未知のカテゴリでは25.4％の3D IoUパーセンテージポイントで最新の基本コンポーネントのパイプラインを上回り、既にパフォーマンスが良い関節推定ベースラインに合わせます。

要約(オリジナル)

We introduce Structure from Action (SfA), a framework to discover 3D part geometry and joint parameters of unseen articulated objects via a sequence of inferred interactions. Our key insight is that 3D interaction and perception should be considered in conjunction to construct 3D articulated CAD models, especially for categories not seen during training. By selecting informative interactions, SfA discovers parts and reveals occluded surfaces, like the inside of a closed drawer. By aggregating visual observations in 3D, SfA accurately segments multiple parts, reconstructs part geometry, and infers all joint parameters in a canonical coordinate frame. Our experiments demonstrate that a SfA model trained in simulation can generalize to many unseen object categories with diverse structures and to real-world objects. Empirically, SfA outperforms a pipeline of state-of-the-art components by 25.4 3D IoU percentage points on unseen categories, while matching already performant joint estimation baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI