ExTraCT — Explainable Trajectory Corrections from language inputs using Textual description of features

要約

自然言語は、人間の意図をロボットに伝える直感的かつ表現力豊かな方法を提供します。
以前の研究では、言語修正から軌道変形を学習するためのエンドツーエンドの方法が採用されていました。
ただし、そのような方法は、新しい初期軌道やオブジェクト構成に一般化されません。
この研究では、自然言語理解のための大規模言語モデル (LLM) と軌道変形関数を組み合わせた、自然言語を使用した軌道修正のためのモジュール式フレームワークである ExTraCT を紹介します。
シーンが与えられると、ExTraCT は、テンプレートに基づいて、軌道修正機能 (シーン固有およびシーン独立) と、シーン内のオブジェクトに対する対応する自然言語テキスト記述をオンラインで生成します。
ユーザーの発話と機能のテキスト説明を意味的に一致させるために LLM を使用します。
一致した特徴に基づいて、軌道修正関数が初期軌道に適用され、目に見えない軌道やオブジェクト構成への一般化が可能になります。
シミュレーションと物理的なロボット アームの両方で実施さ​​れたユーザー調査を通じて、私たちの方法を使用して変形された軌道がより正確で、約 80% のケースで好まれ、ベースラインを上回るパフォーマンスを示したことが実証されました。
また、操作タスクや摂食補助タスクにおけるシステムの多用途性も紹介します。

要約(オリジナル)

Natural language provides an intuitive and expressive way of conveying human intent to robots. Prior works employed end-to-end methods for learning trajectory deformations from language corrections. However, such methods do not generalize to new initial trajectories or object configurations. This work presents ExTraCT, a modular framework for trajectory corrections using natural language that combines Large Language Models (LLMs) for natural language understanding and trajectory deformation functions. Given a scene, ExTraCT generates the trajectory modification features (scene-specific and scene-independent) and their corresponding natural language textual descriptions for the objects in the scene online based on a template. We use LLMs for semantic matching of user utterances to the textual descriptions of features. Based on the feature matched, a trajectory modification function is applied to the initial trajectory, allowing generalization to unseen trajectories and object configurations. Through user studies conducted both in simulation and with a physical robot arm, we demonstrate that trajectories deformed using our method were more accurate and were preferred in about 80\% of cases, outperforming the baseline. We also showcase the versatility of our system in a manipulation task and an assistive feeding task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google