要約
身体型人工知能 (身体型 AI) は、汎用人工知能 (AGI) を実現するために不可欠であり、サイバー空間と物理世界の橋渡しとなるさまざまなアプリケーションの基盤として機能します。
最近、マルチモーダル ラージ モデル (MLM) とワールド モデル (WM) の出現は、その優れた知覚、相互作用、および推論能力により大きな注目を集めており、これらは身体化されたエージェントの脳にとって有望なアーキテクチャとなっています。
しかし、MLM の時代には、身体化された AI に関する包括的な調査はありません。
この調査では、Embodied AI の最新の進歩を包括的に調査します。
私たちの分析では、まず、具体化されたロボットとシミュレーターの代表的な作品の最前線をナビゲートし、研究の焦点とその限界を完全に理解します。
次に、4 つの主な研究ターゲット、1) 身体化された知覚、2) 身体化されたインタラクション、3) 身体化されたエージェント、4) シミュレーションと現実の適応を分析し、最先端の手法、必須パラダイム、包括的な手法をカバーします。
データセット。
さらに、仮想および現実の身体化されたエージェントにおける MLM の複雑さを調査し、動的なデジタルおよび物理環境でのインタラクションを促進する上での MLM の重要性を強調します。
最後に、身体化型 AI の課題と限界を要約し、その潜在的な将来の方向性について説明します。
この調査が研究コミュニティの基礎的な参考資料として役立ち、継続的なイノベーションを促すことを願っています。
関連するプロジェクトは https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List にあります。
要約(オリジナル)
Embodied Artificial Intelligence (Embodied AI) is crucial for achieving Artificial General Intelligence (AGI) and serves as a foundation for various applications that bridge cyberspace and the physical world. Recently, the emergence of Multi-modal Large Models (MLMs) and World Models (WMs) have attracted significant attention due to their remarkable perception, interaction, and reasoning capabilities, making them a promising architecture for the brain of embodied agents. However, there is no comprehensive survey for Embodied AI in the era of MLMs. In this survey, we give a comprehensive exploration of the latest advancements in Embodied AI. Our analysis firstly navigates through the forefront of representative works of embodied robots and simulators, to fully understand the research focuses and their limitations. Then, we analyze four main research targets: 1) embodied perception, 2) embodied interaction, 3) embodied agent, and 4) sim-to-real adaptation, covering the state-of-the-art methods, essential paradigms, and comprehensive datasets. Additionally, we explore the complexities of MLMs in virtual and real embodied agents, highlighting their significance in facilitating interactions in dynamic digital and physical environments. Finally, we summarize the challenges and limitations of embodied AI and discuss their potential future directions. We hope this survey will serve as a foundational reference for the research community and inspire continued innovation. The associated project can be found at https://github.com/HCPLab-SYSU/Embodied_AI_Paper_List.
arxiv情報
| 著者 | Yang Liu,Weixing Chen,Yongjie Bai,Jingzhou Luo,Xinshuai Song,Kaixuan Jiang,Zhida Li,Ganlong Zhao,Junyi Lin,Guanbin Li,Wen Gao,Liang Lin |
| 発行日 | 2024-07-09 14:14:47+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google