Reconfigurable Robot Identification from Motion Data

要約

大規模言語モデル (VLM) およびビジョン言語モデル (VLM) をロボット システムと統合すると、ロボットが複雑な自然言語命令と視覚情報を処理して理解できるようになります。
しかし、基本的な課題は依然として残っています。ロボットがこれらの進歩を十分に活用するには、ロボットがその物理的実施形態を深く理解していなければなりません。
AI モデルの認知能力と物理的具体化の理解との間にギャップがあるため、次の疑問が生じます。ロボットは、環境との相互作用を通じて、その物理的形状と機能を自律的に理解し、適応できるのでしょうか?
この質問は、外部の感覚や構造に関する事前にプログラムされた知識に依存しない自己モデリング ロボットの開発への移行を強調しています。
ここでは、固有受容（位置と動きの内部感覚）を通じてロボットの形態を推定できるメタ自己モデリングを提案します。
私たちの研究では、ロボットの動きとロボットの形態の関係を系統的に調査するために、20万の独自構成の多様なデータセットを伴う12自由度の再構成可能な脚式ロボットを導入しています。
ロボット署名エンコーダーと構成デコーダーで構成されるディープ ニューラル ネットワーク モデルを利用して、固有受容信号からロボット構成を正確に予測するシステムの機能を実証します。
この研究はロボットの自己モデリングの分野に貢献し、現実世界のシナリオにおけるロボットの物理的具体化と適応性についての理解を深めることを目的としています。

要約(オリジナル)

Integrating Large Language Models (VLMs) and Vision-Language Models (VLMs) with robotic systems enables robots to process and understand complex natural language instructions and visual information. However, a fundamental challenge remains: for robots to fully capitalize on these advancements, they must have a deep understanding of their physical embodiment. The gap between AI models cognitive capabilities and the understanding of physical embodiment leads to the following question: Can a robot autonomously understand and adapt to its physical form and functionalities through interaction with its environment? This question underscores the transition towards developing self-modeling robots without reliance on external sensory or pre-programmed knowledge about their structure. Here, we propose a meta self modeling that can deduce robot morphology through proprioception (the internal sense of position and movement). Our study introduces a 12 DoF reconfigurable legged robot, accompanied by a diverse dataset of 200k unique configurations, to systematically investigate the relationship between robotic motion and robot morphology. Utilizing a deep neural network model comprising a robot signature encoder and a configuration decoder, we demonstrate the capability of our system to accurately predict robot configurations from proprioceptive signals. This research contributes to the field of robotic self-modeling, aiming to enhance understanding of their physical embodiment and adaptability in real world scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google