LAMS: LLM-Driven Automatic Mode Switching for Assistive Teleoperation

要約

ジョイスティックなどの低自由度コントローラーを介して高自由度 (DoF) ロボット マニピュレーターを遠隔操作するには、多くの場合、制御モードを頻繁に切り替える必要があり、各モードでコントローラーの動きを特定のロボットの動作にマッピングします。
この頻繁な切り替えを手動で実行すると、遠隔操作が面倒で非効率になる可能性があります。
一方、ヒューリスティックベースや学習ベースの方法などの既存の自動モード切り替えソリューションは、多くの場合タスク固有であり、汎用性に欠けています。
このペーパーでは、大規模言語モデル (LLM) を利用してタスク コンテキストに基づいて制御モードを自動的に切り替える新しいアプローチである、LLM 駆動の自動モード切り替え (LAMS) を紹介します。
既存の方法とは異なり、LAMS は事前のタスクのデモンストレーションを必要とせず、ユーザーが生成したモード切り替えサンプルを統合することで段階的に改善します。
私たちは、アブレーション研究と、複雑で長期的なタスクに関する 10 人の参加者によるユーザー研究を通じて LAMS を検証し、LAMS が手動でのモード切り替えを効果的に減らし、代替方法よりも好まれ、時間の経過とともにパフォーマンスを向上させることを実証しました。
補足資料を含むプロジェクトの Web サイトは、https://lams-assistance.github.io/ にあります。

要約(オリジナル)

Teleoperating high degrees-of-freedom (DoF) robotic manipulators via low-DoF controllers like joysticks often requires frequent switching between control modes, where each mode maps controller movements to specific robot actions. Manually performing this frequent switching can make teleoperation cumbersome and inefficient. On the other hand, existing automatic mode-switching solutions, such as heuristic-based or learning-based methods, are often task-specific and lack generalizability. In this paper, we introduce LLM-Driven Automatic Mode Switching (LAMS), a novel approach that leverages Large Language Models (LLMs) to automatically switch control modes based on task context. Unlike existing methods, LAMS requires no prior task demonstrations and incrementally improves by integrating user-generated mode-switching examples. We validate LAMS through an ablation study and a user study with 10 participants on complex, long-horizon tasks, demonstrating that LAMS effectively reduces manual mode switches, is preferred over alternative methods, and improves performance over time. The project website with supplementary materials is at https://lams-assistance.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google