A Survey of Language-Based Communication in Robotics

要約

環境や隣人と対話できる身体化ロボットは、人工知能を開発するためのテストケースとして使用されることが増えています。
このため、テキストを含むさまざまな種類の情報にわたって動作できるマルチモーダル ロボット コントローラーの必要性が生じます。
大規模言語モデルは、テキストおよび視聴覚データ、さらに最近ではロボットのアクションを処理および生成できます。
言語モデルはロボット システムにますます適用されています。
これらの言語ベースのロボットは、さまざまな方法で言語モデルの力を活用します。
さらに、言語の使用により、人間とロボットのチームのメンバー間でさまざまな形式の情報交換が可能になります。
この調査は、ロボット工学における言語モデルの使用を動機付け、全体の制御フローの中で言語が組み込まれている部分に基づいて作業を描写します。
言語は、人間がロボットにタスクを与えるために使用したり、ロボットが人間に情報を伝達したりするために使用したり、ロボット間で人間のようなコミュニケーション媒体として使用したり、内部的にはロボットの計画と制御に使用したりできます。
言語ベースのロボットの応用が検討され、最後に、今後の言語ベースのロボット工学に必要な開発の概要を提供するために、多数の制限と課題について議論されます。
各論文へのリンクと、ソース コード (利用可能な場合) は、付属のサイト (https://uos-haris.online/sooratilab/papers/WillSurvey/LangRobotSurvey.php) から入手できます。

要約(オリジナル)

Embodied robots which can interact with their environment and neighbours are increasingly being used as a test case to develop Artificial Intelligence. This creates a need for multimodal robot controllers which can operate across different types of information including text. Large Language Models are able to process and generate textual as well as audiovisual data and, more recently, robot actions. Language Models are increasingly being applied to robotic systems; these Language-Based robots leverage the power of language models in a variety of ways. Additionally, the use of language opens up multiple forms of information exchange between members of a human-robot team. This survey motivates the use of language models in robotics, and then delineates works based on the part of the overall control flow in which language is incorporated. Language can be used by human to task a robot, by a robot to inform a human, between robots as a human-like communication medium, and internally for a robot’s planning and control. Applications of language-based robots are explored, and finally numerous limitations and challenges are discussed to provide a summary of the development needed for language-based robotics moving forward. Links to each paper and, if available, source code are made available in the accompanying site at https://uos-haris.online/sooratilab/papers/WillSurvey/LangRobotSurvey.php

arxiv情報

提供元, 利用サービス

arxiv.jp, Google