Part-level Scene Reconstruction Affords Robot Interaction

要約

インタラクティブ シーンを再構成する既存の方法は、主に、限られたデータベースから取得した CAD モデルで再構成されたオブジェクトを置き換えることに焦点を当てており、その結果、再構成されたシーンと観察されたシーンの間に重大な矛盾が生じます。
この問題に対処するために、私たちの研究では、プリミティブ形状を使用してオブジェクトを再組み立てするパーツレベルの再構築アプローチを導入しています。
これにより、観察された物理的シーンを正確に複製し、剛体と多関節オブジェクトの両方とのロボットの相互作用をシミュレートできるようになります。
再構成された物体を意味的な部分に分割し、その部分にプリミティブ形状を位置合わせすることで、親子の接触関係や関節の種類、パラメータなどの運動学的関係を推定しなが​​らCADモデルとして組み立てます。
具体的には、一連の最適化問題を解くことで最適なプリミティブ アライメントを導き出し、パーツのセマンティクスとジオメトリに基づいて運動学的関係を推定します。
私たちの実験では、パーツレベルのシーン再構成が、より詳細なディテールを正確に捕捉し、精度を向上させることにより、オブジェクトレベルの再構成よりも優れていることを示しています。
これらの再構築されたパーツレベルのインタラクティブ シーンは、さまざまなロボット アプリケーションに貴重な運動学的情報を提供します。
私たちは、物理世界でタスクを実行する前に、これらのインタラクティブなシーンでモバイル操作計画を認証する実現可能性を示します。

要約(オリジナル)

Existing methods for reconstructing interactive scenes primarily focus on replacing reconstructed objects with CAD models retrieved from a limited database, resulting in significant discrepancies between the reconstructed and observed scenes. To address this issue, our work introduces a part-level reconstruction approach that reassembles objects using primitive shapes. This enables us to precisely replicate the observed physical scenes and simulate robot interactions with both rigid and articulated objects. By segmenting reconstructed objects into semantic parts and aligning primitive shapes to these parts, we assemble them as CAD models while estimating kinematic relations, including parent-child contact relations, joint types, and parameters. Specifically, we derive the optimal primitive alignment by solving a series of optimization problems, and estimate kinematic relations based on part semantics and geometry. Our experiments demonstrate that part-level scene reconstruction outperforms object-level reconstruction by accurately capturing finer details and improving precision. These reconstructed part-level interactive scenes provide valuable kinematic information for various robotic applications; we showcase the feasibility of certifying mobile manipulation planning in these interactive scenes before executing tasks in the physical world.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google