Bi-LAT: Bilateral Control-Based Imitation Learning via Natural Language and Action Chunking with Transformers

要約

ロボット操作における正確な力変調を実現するために、自然言語処理と両側制御を統一する新しい模倣学習フレームワークであるBi-Latを提示します。
Bi-latは、リーダーフォロワーの視覚操作からのジョイントの位置、速度、およびトルクデータを活用し、視覚的および言語的キューを統合して、適用力を動的に調整します。
マルチモーダル変圧器ベースのモデルを介して「カップを柔らかく把握したり、「スポンジを強くねじっている」などの人間の指示をエンコードすることにより、BI-LATは、現実世界のタスクにおける微妙な力要件を区別することを学びます。
ロボットが言語コマンドに基づいて把握力を正確に調整する（2）調整された力制御を必要とする両段階のスポンジツイストタスクを正確に調整する（1）bi-latのパフォーマンスを実証します。
実験結果は、特にテストされた言語エンコーダーにSiglipを組み込む場合、BI-LATが指示された力レベルを効果的に再現することを示しています。
私たちの調査結果は、自然言語の手がかりを模倣学習に統合する可能性を示しており、より直感的で適応性のある人間とロボットの相互作用への道を開いています。
追加資料については、https：//mertcookimg.github.io/bi-lat/をご覧ください。

要約(オリジナル)

We present Bi-LAT, a novel imitation learning framework that unifies bilateral control with natural language processing to achieve precise force modulation in robotic manipulation. Bi-LAT leverages joint position, velocity, and torque data from leader-follower teleoperation while also integrating visual and linguistic cues to dynamically adjust applied force. By encoding human instructions such as ‘softly grasp the cup’ or ‘strongly twist the sponge’ through a multimodal Transformer-based model, Bi-LAT learns to distinguish nuanced force requirements in real-world tasks. We demonstrate Bi-LAT’s performance in (1) unimanual cup-stacking scenario where the robot accurately modulates grasp force based on language commands, and (2) bimanual sponge-twisting task that requires coordinated force control. Experimental results show that Bi-LAT effectively reproduces the instructed force levels, particularly when incorporating SigLIP among tested language encoders. Our findings demonstrate the potential of integrating natural language cues into imitation learning, paving the way for more intuitive and adaptive human-robot interaction. For additional material, please visit: https://mertcookimg.github.io/bi-lat/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google