Towards Natural Language-Driven Assembly Using Foundation Models

要約

大規模言語モデル (LLM) と強力な視覚モデルにより、ロボット制御を可能にする視覚-言語-動作モデルの分野での迅速な研究開発が可能になりました。
これらの方法の主な目的は、さまざまな実施形態でロボットを制御できる汎用的なポリシーを開発することです。
ただし、自動組み立てや分解などの産業用ロボットの用途では、挿入などの一部の作業ではより高い精度が要求され、接触の係合、摩擦の処理、洗練された運動能力などの複雑な要素が関係します。
これらのポリシーでは、精度を高めるために力やトルクの測定などのさらなる感覚データが統合される可能性があるため、ジェネラリスト ポリシーを使用してこれらのスキルを実装することは困難です。
私たちの方法では、動的なコンテキスト切り替えを通じて高精度のタスクを実行するように特別に訓練された有限のスキルセットに制御ポリシーを転送できる LLM に基づくグローバル制御ポリシーを提示します。
このフレームワークへの LLM の統合は、言語入力の解釈と処理だけでなく、多様で複雑なロボット操作の制御メカニズムの強化においても LLM の重要性が強調されます。

要約(オリジナル)

Large Language Models (LLMs) and strong vision models have enabled rapid research and development in the field of Vision-Language-Action models that enable robotic control. The main objective of these methods is to develop a generalist policy that can control robots with various embodiments. However, in industrial robotic applications such as automated assembly and disassembly, some tasks, such as insertion, demand greater accuracy and involve intricate factors like contact engagement, friction handling, and refined motor skills. Implementing these skills using a generalist policy is challenging because these policies might integrate further sensory data, including force or torque measurements, for enhanced precision. In our method, we present a global control policy based on LLMs that can transfer the control policy to a finite set of skills that are specifically trained to perform high-precision tasks through dynamic context switching. The integration of LLMs into this framework underscores their significance in not only interpreting and processing language inputs but also in enriching the control mechanisms for diverse and intricate robotic operations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google