A Survey of Language-Based Communication in Robotics

要約

環境や隣人と相互作用できる体型ロボットは、人工知能を開発するためのテストケースとしてますます利用されるようになってきている。このため、テキストを含むさまざまな種類の情報を操作できるマルチモーダルなロボットコントローラーが必要とされている。大規模な言語モデルは、テキストデータだけでなくオーディオビジュアルデータも処理し、生成することができます。言語モデルのロボットシステムへの応用はますます進んでおり、言語ベースのロボットは、さまざまな方法で言語モデルの力を活用しています。さらに、言語を使用することで、人間とロボットのチームメンバー間の情報交換が多様な形で可能になります。本調査では、ロボット工学における言語モデルの使用を動機付け、言語が組み込まれる全体的な制御フローの部分に基づいて作品を分類する。言語は、人間がロボットにタスクを与えたり、ロボットが人間に情報を与えたり、人間のようなコミュニケーション媒体としてロボット間で使用されたり、ロボットの計画や制御のために内部で使用されたりする。言語ベースのロボットのアプリケーションを探求し、多くの限界と課題を議論することで、言語ベースのロボットの将来に必要な開発の概要を提供する。

要約(オリジナル)

Embodied robots which can interact with their environment and neighbours are increasingly being used as a test case to develop Artificial Intelligence. This creates a need for multimodal robot controllers that can operate across different types of information, including text. Large Language Models are able to process and generate textual as well as audiovisual data and, more recently, robot actions. Language Models are increasingly being applied to robotic systems; these Language-Based robots leverage the power of language models in a variety of ways. Additionally, the use of language opens up multiple forms of information exchange between members of a human-robot team. This survey motivates the use of language models in robotics, and then delineates works based on the part of the overall control flow in which language is incorporated. Language can be used by human to task a robot, by a robot to inform a human, between robots as a human-like communication medium, and internally for a robot’s planning and control. Applications of language-based robots are explored, and numerous limitations and challenges are discussed to provide a summary of the development needed for the future of language-based robotics.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL