Don’t Yell at Your Robot: Physical Correction as the Collaborative Interface for Language Model Powered Robots

要約

我々は、大規模言語モデル (LLM) を搭載したロボットのリアルタイムエラー修正のための物理的相互作用を使用して、人間とロボットのコラボレーションを強化するための新しいアプローチを紹介します。
口頭またはテキスト コマンドに依存する他の方法とは異なり、ロボットは LLM を利用して、自然言語でのシーンの説明を使用して 6 DoF 線形動的システム (DS) コマンドを積極的に実行します。
動作中、人間は物理的な修正を行うことができ、これを使用して望ましい意図を再推定することができ、これも線形 DS によってパラメータ化されます。
この修正された DS は自然言語に変換でき、将来の LLM インタラクションを改善するためのプロンプトの一部として使用できます。
私たちは、リアル + シムのハイブリッド実験における概念実証の結果を提供し、LLM を活用したヒューマン ロボット インターフェイスの新しい可能性として物理的インタラクションを示します。

要約(オリジナル)

We present a novel approach for enhancing human-robot collaboration using physical interactions for real-time error correction of large language model (LLM) powered robots. Unlike other methods that rely on verbal or text commands, the robot leverages an LLM to proactively executes 6 DoF linear Dynamical System (DS) commands using a description of the scene in natural language. During motion, a human can provide physical corrections, used to re-estimate the desired intention, also parameterized by linear DS. This corrected DS can be converted to natural language and used as part of the prompt to improve future LLM interactions. We provide proof-of-concept result in a hybrid real+sim experiment, showcasing physical interaction as a new possibility for LLM powered human-robot interface.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google