Bridging Language and Action: A Survey of Language-Conditioned Robot Manipulation

要約

言語条件付きロボット操作は、自然言語で伝えられる命令を理解して実行できるようにロボットに教えることで、人間とロボットエージェントの間のシームレスなコミュニケーションと協力を可能にすることを目的とした新興分野です。
この学際的な領域では、シーンの理解、言語処理、およびポリシー学習を統合して、人間の指示とロボットの動作の間のギャップを埋めます。
この包括的な調査では、言語条件付きロボット操作の最近の進歩を系統的に調査します。
既存の手法を、言語条件付き報酬形成、言語条件付き政策学習、神経記号人工知能、および大規模言語モデル (LLM) や視覚言語モデル (VLM) などの基礎モデル (FM) の利用に分類します。
具体的には、意味情報の抽出、環境と評価、補助タスク、タスク表現戦略に関する最先端の手法を分析します。
比較分析を行うことで、言語命令とロボットの動作を橋渡しする現在のアプローチの長所と限界を浮き彫りにします。
最後に、言語条件付きロボットマニピュレータにおける一般化能力の潜在的な強化と安全性の問題への取り組みに焦点を当てて、未解決の課題と将来の研究の方向性について議論します。
この論文の GitHub リポジトリは、https://github.com/hk-zh/ language-conditioned-robot-manipulation-models にあります。

要約(オリジナル)

Language-conditioned robot manipulation is an emerging field aimed at enabling seamless communication and cooperation between humans and robotic agents by teaching robots to comprehend and execute instructions conveyed in natural language. This interdisciplinary area integrates scene understanding, language processing, and policy learning to bridge the gap between human instructions and robotic actions. In this comprehensive survey, we systematically explore recent advancements in language-conditioned robotic manipulation. We categorize existing methods into language-conditioned reward shaping, language-conditioned policy learning, neuro-symbolic artificial intelligence, and the utilization of foundational models (FMs) such as large language models (LLMs) and vision-language models (VLMs). Specifically, we analyze state-of-the-art techniques concerning semantic information extraction, environment and evaluation, auxiliary tasks, and task representation strategies. By conducting a comparative analysis, we highlight the strengths and limitations of current approaches in bridging language instructions with robot actions. Finally, we discuss open challenges and future research directions, focusing on potentially enhancing generalization capabilities and addressing safety issues in language-conditioned robot manipulators. The GitHub repository of this paper can be found at https://github.com/hk-zh/language-conditioned-robot-manipulation-models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google