Leveraging Pretrained Diffusion Models for Zero-Shot Part Assembly

要約

3Dパーツアセンブリは、部分的な関係を理解し​​、6-DOFポーズを予測して現実的な3D形状を構築することを目的としており、ロボットにとって重要な自律アセンブリの需要の高まりに対処します。
既存の方法は、主に監督下でニューラルネットワークをトレーニングすることにより、各部品の変換を推定します。これには、実質的にラベル付けされたデータが必要です。
ただし、データ収集のコストが高く、現実世界の形状と部品の計り知れないばらつきにより、従来の方法は大規模なアプリケーションでは実用的ではありません。
このホワイトペーパーでは、最初に、事前に訓練されたポイントクラウド拡散モデルをアセンブリプロセスの判別器として利用し、部品の操作を導き、現実的な形状を形成することを最初に提案します。
具体的には、ゼロショットパーツアセンブリに拡散モデルを使用することは、反復的な近くのポイント（ICP）プロセスに変換できることを理論的に実証します。
次に、オーバーラップ部分に対処するための新しいプッシュアウェイ戦略を提案し、それによりメソッドの堅牢性をさらに高めます。
私たちの研究を検証するために、いくつかの強力なベースライン方法との広範な実験と定量的比較を実施し、提案されたアプローチの有効性を実証し、監視された学習方法を上回ります。
このコードは、https：//github.com/ruiyuan-zhang/zero-shot-assemblyでリリースされています。

要約(オリジナル)

3D part assembly aims to understand part relationships and predict their 6-DoF poses to construct realistic 3D shapes, addressing the growing demand for autonomous assembly, which is crucial for robots. Existing methods mainly estimate the transformation of each part by training neural networks under supervision, which requires a substantial quantity of manually labeled data. However, the high cost of data collection and the immense variability of real-world shapes and parts make traditional methods impractical for large-scale applications. In this paper, we propose first a zero-shot part assembly method that utilizes pre-trained point cloud diffusion models as discriminators in the assembly process, guiding the manipulation of parts to form realistic shapes. Specifically, we theoretically demonstrate that utilizing a diffusion model for zero-shot part assembly can be transformed into an Iterative Closest Point (ICP) process. Then, we propose a novel pushing-away strategy to address the overlap parts, thereby further enhancing the robustness of the method. To verify our work, we conduct extensive experiments and quantitative comparisons to several strong baseline methods, demonstrating the effectiveness of the proposed approach, which even surpasses the supervised learning method. The code has been released on https://github.com/Ruiyuan-Zhang/Zero-Shot-Assembly.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google