DNAct: Diffusion Guided Multi-Task 3D Policy Learning

要約

この論文では、ニューラル レンダリングの事前トレーニングと拡散トレーニングを統合してアクション シーケンス空間でマルチモダリティ学習を強制する、言語条件付きマルチタスク ポリシー フレームワークである DNAct について説明します。
少数のデモンストレーションで一般化可能なマルチタスク ポリシーを学習するために、DNAct の事前トレーニング フェーズではニューラル レンダリングを利用して、安定拡散などの基礎モデルから 2D セマンティック特徴を 3D 空間に抽出します。これにより、シーンに関する包括的なセマンティック理解を提供します。
その結果、さまざまなアプリケーションで、豊富な 3D セマンティクスと正確なジオメトリを必要とする困難なロボット タスクを実行できるようになります。
さらに、マルチタスクのデモンストレーションにおける固有のマルチモダリティをカプセル化する視覚と言語の特徴を学習するための拡散トレーニングを利用した新しいアプローチを紹介します。
拡散プロセスを介してさまざまなタスクからアクション シーケンスを再構築することにより、モデルはさまざまなモダリティを区別できるようになり、学習された表現の堅牢性と一般化可能性が向上します。
DNAct は、成功率が 30% 以上向上し、SOTA NeRF ベースのマルチタスク操作アプローチを大幅に上回ります。
プロジェクトの Web サイト: dnact.github.io。

要約(オリジナル)

This paper presents DNAct, a language-conditioned multi-task policy framework that integrates neural rendering pre-training and diffusion training to enforce multi-modality learning in action sequence spaces. To learn a generalizable multi-task policy with few demonstrations, the pre-training phase of DNAct leverages neural rendering to distill 2D semantic features from foundation models such as Stable Diffusion to a 3D space, which provides a comprehensive semantic understanding regarding the scene. Consequently, it allows various applications to challenging robotic tasks requiring rich 3D semantics and accurate geometry. Furthermore, we introduce a novel approach utilizing diffusion training to learn a vision and language feature that encapsulates the inherent multi-modality in the multi-task demonstrations. By reconstructing the action sequences from different tasks via the diffusion process, the model is capable of distinguishing different modalities and thus improving the robustness and the generalizability of the learned representation. DNAct significantly surpasses SOTA NeRF-based multi-task manipulation approaches with over 30% improvement in success rate. Project website: dnact.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google