G3Flow: Generative 3D Semantic Flow for Pose-aware and Generalizable Object Manipulation

要約

3D ロボット操作のための模倣学習の最近の進歩は、拡散ベースのポリシーで有望な結果を示しています。
ただし、人間レベルの器用さを実現するには、幾何学的精度と意味的理解をシームレスに統合する必要があります。
我々は、基盤モデルを活用することで、リアルタイムのセマンティック フロー、つまり動的なオブジェクト中心の 3D セマンティック表現を構築する新しいフレームワークである G3Flow を紹介します。
私たちのアプローチは、デジタル ツイン作成のための 3D 生成モデル、セマンティック特徴抽出のためのビジョン基盤モデル、および継続的なセマンティック フロー更新のための堅牢な姿勢追跡を独自に組み合わせたものです。
この統合により、手動による注釈の必要性を排除しながら、オクルージョン下でも完全な意味の理解が可能になります。
セマンティック フローを拡散ポリシーに組み込むことにより、端末制約のある操作とオブジェクト間の一般化の両方が大幅に改善されることを実証します。
5 つのシミュレーション タスクにわたる広範な実験により、G3Flow が既存のアプローチよりも一貫して優れたパフォーマンスを示し、ターミナル制約のある操作タスクとクロスオブジェクト汎化タスクでそれぞれ最大 68.3% と 50.1% の平均成功率を達成することが示されました。
私たちの結果は、ロボット操作ポリシーに対するリアルタイムの動的な意味論的特徴の理解を強化する上での G3Flow の有効性を実証しています。

要約(オリジナル)

Recent advances in imitation learning for 3D robotic manipulation have shown promising results with diffusion-based policies. However, achieving human-level dexterity requires seamless integration of geometric precision and semantic understanding. We present G3Flow, a novel framework that constructs real-time semantic flow, a dynamic, object-centric 3D semantic representation by leveraging foundation models. Our approach uniquely combines 3D generative models for digital twin creation, vision foundation models for semantic feature extraction, and robust pose tracking for continuous semantic flow updates. This integration enables complete semantic understanding even under occlusions while eliminating manual annotation requirements. By incorporating semantic flow into diffusion policies, we demonstrate significant improvements in both terminal-constrained manipulation and cross-object generalization. Extensive experiments across five simulation tasks show that G3Flow consistently outperforms existing approaches, achieving up to 68.3% and 50.1% average success rates on terminal-constrained manipulation and cross-object generalization tasks respectively. Our results demonstrate the effectiveness of G3Flow in enhancing real-time dynamic semantic feature understanding for robotic manipulation policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google