Towards Generalist Robots: A Promising Paradigm via Generative Simulation

要約

この文書は、ジェネラリストロボットへの潜在的な道筋についての著者のビジョンを概説するポジションペーパーとして機能します。
この文書の目的は、著者らの興奮をコミュニティと共有し、ロボット工学と AI における有望な研究の方向性を強調することです。
著者らは、提案されたパラダイムが、ロボット研究の長年の目標、つまりロボット、または身体化された AI エージェントをより広範に工場以外の現実世界のさまざまな環境に配置して、多様なタスクを実行するという目標を達成するための実現可能な道であると信じています。
この文書では、ロボット研究のための最新の大規模基礎モデルで知識をマイニングするための具体的なアイデアを示します。
これらのモデルを直接使用または適応させて低レベルのポリシーやアクションを生成するのではなく、完全に自動化された生成パイプライン (生成シミュレーションと呼ばれる) を提唱しています。このパイプラインでは、これらのモデルを使用して多様なタスク、シーン、トレーニング監視を大規模に生成し、それによってスケールを調整します。
低レベルのスキル学習を強化し、最終的にはジェネラリストロボットに力を与えるロボット工学の基礎モデルにつながります。
著者らはこの方向性を積極的に追求しているが、それまでの間、大規模な政策訓練を備えた汎用ロボットを構築するという野心的な目標には、コンピューティング能力やハードウェアなどの多大なリソースが必要であり、学術界の研究グループだけでも厳しいリソース制約に直面する可能性があることを認識している。
ビジョン全体を実現する上で。
したがって、著者らは、この初期段階で自分たちの考えを共有することで議論が促進され、提案された経路や関連トピックに対する業界団体の関心を集め、この分野で重要な技術的進歩が促進される可能性があると考えています。

要約(オリジナル)

This document serves as a position paper that outlines the authors’ vision for a potential pathway towards generalist robots. The purpose of this document is to share the excitement of the authors with the community and highlight a promising research direction in robotics and AI. The authors believe the proposed paradigm is a feasible path towards accomplishing the long-standing goal of robotics research: deploying robots, or embodied AI agents more broadly, in various non-factory real-world settings to perform diverse tasks. This document presents a specific idea for mining knowledge in the latest large-scale foundation models for robotics research. Instead of directly using or adapting these models to produce low-level policies and actions, it advocates for a fully automated generative pipeline (termed as generative simulation), which uses these models to generate diversified tasks, scenes and training supervisions at scale, thereby scaling up low-level skill learning and ultimately leading to a foundation model for robotics that empowers generalist robots. The authors are actively pursuing this direction, but in the meantime, they recognize that the ambitious goal of building generalist robots with large-scale policy training demands significant resources such as computing power and hardware, and research groups in academia alone may face severe resource constraints in implementing the entire vision. Therefore, the authors believe sharing their thoughts at this early stage could foster discussions, attract interest towards the proposed pathway and related topics from industry groups, and potentially spur significant technical advancements in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google