LaTTe: Language Trajectory TransformEr

要約

自然言語は、人間の意図を表現する最も直感的な方法の1つです。しかし、ロボットの動作生成や実世界への展開に向けた指示や命令を翻訳することは、決して容易なことではありません。実際、ロボット固有の低レベルの幾何学的・運動力学的制約と人間の高レベルの意味情報を組み合わせることで、タスクデザイン問題に対する新たな挑戦が活性化し、一般に、固定的な行動目標とコマンドのセットを持つタスクまたはハードウェア固有のソリューションがもたらされる。その代わりに、この研究は、タスクやロボットの事前情報についての制約を減らし、言語コマンドを使用して一般的な3Dロボットの軌道を修正することができる柔軟な言語ベースのフレームワークを提案する。事前に学習した言語モデルを利用し、自動回帰変換器を用いて、自然言語入力と文脈画像を3D軌道の変化に対応させる。我々は、シミュレーションと実際の実験を通して、このモデルが人間の意図にうまく従うことができ、複数のロボットプラットフォームとコンテキストに対して軌道の形と速度を変更することができることを示す。この研究は、ロボット工学のための大規模な事前学習済み基礎モデル構築への一歩を踏み出し、そのようなモデルが、人間と機械の間でより直感的で柔軟な相互作用を生み出すことができることを示すものである。コードベースは、https://github.com/arthurfenderbucker/NL_trajectory_reshaper で公開されています。

要約(オリジナル)

Natural language is one of the most intuitive ways to express human intent. However, translating instructions and commands towards robotic motion generation, and deployment in the real world, is far from being an easy task. Indeed, combining robotic’s inherent low-level geometric and kinodynamic constraints with human’s high-level semantic information reinvigorates and raises new challenges to the task-design problem — typically leading to task or hardware specific solutions with a static set of action targets and commands. This work instead proposes a flexible language-based framework that allows to modify generic 3D robotic trajectories using language commands with reduced constraints about prior task or robot information. By taking advantage of pre-trained language models, we employ an auto-regressive transformer to map natural language inputs and contextual images into changes in 3D trajectories. We show through simulations and real-life experiments that the model can successfully follow human intent, modifying the shape and speed of trajectories for multiple robotic platforms and contexts. This study takes a step into building large pre-trained foundational models for robotics and shows how such models can create more intuitive and flexible interactions between human and machines. Codebase available at: https://github.com/arthurfenderbucker/NL_trajectory_reshaper.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL