Toward General-Purpose Robots via Foundation Models: A Survey and Meta-Analysis

要約

あらゆる環境、あらゆる物体でシームレスに動作し、さまざまなスキルを活用して多様なタスクを完了する汎用ロボットを構築することは、人工知能の長年の目標です。
しかし、コミュニティとして、私たちは特定のタスク向けにロボット システムを設計し、特定のデータセットでトレーニングし、特定の環境内に展開することで、ほとんどのロボット システムを制約してきました。
これらのシステムには、広範囲にラベル付けされたデータとタスク固有のモデルが必要です。
このようなシステムを現実世界のシナリオに展開すると、一般化に関するいくつかの問題に直面し、配布の変化に対して堅牢性を維持するのに苦労します。
自然言語処理 (NLP) やコンピューター ビジョン (CV) などの研究分野における、Web スケールの大容量の事前トレーニング済みモデル (つまり、基礎モデル) の優れたオープンセット パフォーマンスとコンテンツ生成機能に動機付けられ、私たちは、
この調査は、(i) NLP および CV の既存の基礎モデルが汎用ロボット工学の分野にどのように適用できるかを調査すること、および (ii) ロボット工学に特化した基礎モデルがどのようなものであるかを調査することを目的としています。
まず、基礎モデルがロボット工学でどのように使用されるかについての一般化された定式化と、ジェネラリスト ロボットを普遍的に適用できるようにするための基本的な障壁を提供します。
次に、ロボット工学のための既存の基礎モデルを活用し、ロボット工学に対応したモデルを開発する方法を探索する現在の作業について議論するための分類法を確立します。
最後に、汎用ロボット システムを実現するための基礎モデルの使用における主要な課題と有望な将来の方向性について説明します。
読者の皆様には、この調査でレビューされた論文や、ロボット工学の基礎モデルを開発するための関連プロジェクトやリポジトリを含む、リソースの生きた GitHub リポジトリ 2 を参照することをお勧めします。

要約(オリジナル)

Building general-purpose robots that operate seamlessly in any environment, with any object, and utilizing various skills to complete diverse tasks has been a long-standing goal in Artificial Intelligence. However, as a community, we have been constraining most robotic systems by designing them for specific tasks, training them on specific datasets, and deploying them within specific environments. These systems require extensively-labeled data and task-specific models. When deployed in real-world scenarios, such systems face several generalization issues and struggle to remain robust to distribution shifts. Motivated by the impressive open-set performance and content generation capabilities of web-scale, large-capacity pre-trained models (i.e., foundation models) in research fields such as Natural Language Processing (NLP) and Computer Vision (CV), we devote this survey to exploring (i) how these existing foundation models from NLP and CV can be applied to the field of general-purpose robotics, and also exploring (ii) what a robotics-specific foundation model would look like. We begin by providing a generalized formulation of how foundation models are used in robotics, and the fundamental barriers to making generalist robots universally applicable. Next, we establish a taxonomy to discuss current work exploring ways to leverage existing foundation models for robotics and develop ones catered to robotics. Finally, we discuss key challenges and promising future directions in using foundation models for enabling general-purpose robotic systems. We encourage readers to view our living GitHub repository 2 of resources, including papers reviewed in this survey, as well as related projects and repositories for developing foundation models for robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google