G3Flow: Generative 3D Semantic Flow for Pose-aware and Generalizable Object Manipulation

要約

3Dロボット操作のための模倣学習の最近の進歩により、拡散ベースのポリシーで有望な結果が示されています。
ただし、人間レベルの器用さを達成するには、幾何学的精度とセマンティック理解のシームレスな統合が必要です。
基礎モデルを活用することにより、動的でオブジェクト中心の3Dセマンティック表現であるリアルタイムセマンティックフローを構築する新しいフレームワークであるG3Flowを紹介します。
当社のアプローチは、デジタルツイン作成のための3D生成モデル、セマンティック機能抽出のためのVision Foundationモデル、および連続セマンティックフローの更新のための堅牢なポーズ追跡をユニークに組み合わせています。
この統合により、閉塞下でも完全なセマンティック理解が可能になり、手動注釈要件が排除されます。
セマンティックフローを拡散ポリシーに組み込むことにより、末期制約の操作とクロスオブジェクトの一般化の両方に大幅な改善を示します。
5つのシミュレーションタスクにわたる広範な実験では、G3Flowが既存のアプローチを常に上回り、ターミナルが制約した操作とクロスオブジェクトの一般化タスクでそれぞれ最大68.3％および50.1％の平均成功率を達成することが示されています。
我々の結果は、ロボット操作ポリシーのリアルタイム動的セマンティックフィーチャの理解を強化する際のG3Flowの有効性を示しています。

要約(オリジナル)

Recent advances in imitation learning for 3D robotic manipulation have shown promising results with diffusion-based policies. However, achieving human-level dexterity requires seamless integration of geometric precision and semantic understanding. We present G3Flow, a novel framework that constructs real-time semantic flow, a dynamic, object-centric 3D semantic representation by leveraging foundation models. Our approach uniquely combines 3D generative models for digital twin creation, vision foundation models for semantic feature extraction, and robust pose tracking for continuous semantic flow updates. This integration enables complete semantic understanding even under occlusions while eliminating manual annotation requirements. By incorporating semantic flow into diffusion policies, we demonstrate significant improvements in both terminal-constrained manipulation and cross-object generalization. Extensive experiments across five simulation tasks show that G3Flow consistently outperforms existing approaches, achieving up to 68.3% and 50.1% average success rates on terminal-constrained manipulation and cross-object generalization tasks respectively. Our results demonstrate the effectiveness of G3Flow in enhancing real-time dynamic semantic feature understanding for robotic manipulation policies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google