Generative Artificial Intelligence in Robotic Manipulation: A Survey

要約

この調査は、ロボット操作における生成学習モデルの最近の進歩に関する包括的なレビューを提供し、この分野の重要な課題に対処します。
ロボット操作は、不十分なデータや非効率的なデータ収集、長老および複雑なタスク計画、および多様な環境にわたる堅牢なポリシー学習パフォーマンスのマルチモダリティ推論能力など、重要なボトルネックに直面しています。
これらの課題に取り組むために、この調査では、生成敵対的ネットワーク（GANS）、変動自己エンコーダー（VAE）、拡散モデル、確率的フローモデル、自己回帰モデルなど、いくつかの生成モデルパラダイムを紹介し、強度と制限を強調しています。
これらのモデルのアプリケーションは、データ生成と報酬生成に焦点を当てた基礎層の3つの階層層に分類されます。
言語、コード、視覚、および州の世代をカバーする中間層。
そして、把握の生成と軌跡の生成を強調する政策層。
各レイヤーは、最先端を進めた顕著な作品とともに詳細に調査されています。
最後に、この調査では、将来の研究の方向性と課題の概要を説明し、データ利用の効率を改善し、長期タスクのより良い取り扱い、多様なロボットシナリオ全体の一般化の強化の必要性を強調しています。
研究論文、オープンソースデータ、プロジェクトを含む関連するすべてのリソースは、https://github.com/gai4manipulation/awesomegaimanipulationのコミュニティ向けに収集されます

要約(オリジナル)

This survey provides a comprehensive review on recent advancements of generative learning models in robotic manipulation, addressing key challenges in the field. Robotic manipulation faces critical bottlenecks, including significant challenges in insufficient data and inefficient data acquisition, long-horizon and complex task planning, and the multi-modality reasoning ability for robust policy learning performance across diverse environments. To tackle these challenges, this survey introduces several generative model paradigms, including Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), diffusion models, probabilistic flow models, and autoregressive models, highlighting their strengths and limitations. The applications of these models are categorized into three hierarchical layers: the Foundation Layer, focusing on data generation and reward generation; the Intermediate Layer, covering language, code, visual, and state generation; and the Policy Layer, emphasizing grasp generation and trajectory generation. Each layer is explored in detail, along with notable works that have advanced the state of the art. Finally, the survey outlines future research directions and challenges, emphasizing the need for improved efficiency in data utilization, better handling of long-horizon tasks, and enhanced generalization across diverse robotic scenarios. All the related resources, including research papers, open-source data, and projects, are collected for the community in https://github.com/GAI4Manipulation/AwesomeGAIManipulation

arxiv情報

提供元, 利用サービス

arxiv.jp, Google