Sensorimotor Attention and Language-based Regressions in Shared Latent Variables for Integrating Robot Motion Learning and LLM

要約

近年、大規模言語モデル（LLM）とロボット工学を組み合わせた研究が盛んに行われています。
ただし、ほとんどの企業は、ロボットの動作生成段階でのエンドツーエンドのフィードバックを考慮していません。
ディープ ニューラル ネットワークの予測には誤差が含まれている必要があり、ロボットの動きを適応的に生成するには、学習済みモデルを実際の環境に対応するように更新する必要があります。
本研究では、ロボット動作学習モデルとLLMを共有潜在変数を用いて接続する統合手法を提案する。
提案手法はロボットの動作を生成する際に、感覚運動注意点とロボットに与えられたタスク言語指示の両方からの予測誤差に基づいて共有パラメータを更新します。
これにより、モデルはロボット タスクに適した潜在パラメータを効率的に検索できるようになります。
複数のロボットタスクに対するシミュレータ実験を通じて、位置汎化能力と言語指示汎化能力の2つの観点から提案手法の有効性を実証した。

要約(オリジナル)

In recent years, studies have been actively conducted on combining large language models (LLM) and robotics; however, most have not considered end-to-end feedback in the robot-motion generation phase. The prediction of deep neural networks must contain errors, it is required to update the trained model to correspond to the real environment to generate robot motion adaptively. This study proposes an integration method that connects the robot-motion learning model and LLM using shared latent variables. When generating robot motion, the proposed method updates shared parameters based on prediction errors from both sensorimotor attention points and task language instructions given to the robot. This allows the model to search for latent parameters appropriate for the robot task efficiently. Through simulator experiments on multiple robot tasks, we demonstrated the effectiveness of our proposed method from two perspectives: position generalization and language instruction generalization abilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google