Embodied AI with Two Arms: Zero-shot Learning, Safety and Modularity

要約

私たちは、人間からオープンエンドの自然言語命令を受け取り、2 つのアームを制御して、広い作業スペースで長期にわたる可能性のあるタスクを協力して実行する、身体化された AI システムを紹介します。
私たちのシステムはモジュール式です。タスク計画には最先端の大規模言語モデル、意味認識には視覚言語モデル、把握には点群変換器が導入されています。
意味的および物理的な安全性を念頭に置いて、これらのモジュールは、リアルタイム軌道オプティマイザおよび準拠追跡コントローラと連携して、人間とロボットの近接を可能にします。
バイアームによる仕分け作業、ボトルの開封作業、ゴミ捨て作業などのパフォーマンスを実証します。
これらは、使用されるモデルがこの双腕ロボット、シーン、またはワークスペースからの実世界データでトレーニングされていないゼロショットで実行されます。
学習ベースのコンポーネントと非学習ベースのコンポーネントの両方を、解釈可能な入力と出力を備えたモジュール形式で構成することで、ユーザーは障害点や脆弱性を簡単にデバッグできます。
また、模倣学習ポリシーなどを使用して、プラットフォーム全体の堅牢性を向上させるためにスワップ モジュールを配置することもできます。
https://sites.google.com/corp/view/safe-robots

要約(オリジナル)

We present an embodied AI system which receives open-ended natural language instructions from a human, and controls two arms to collaboratively accomplish potentially long-horizon tasks over a large workspace. Our system is modular: it deploys state of the art Large Language Models for task planning,Vision-Language models for semantic perception, and Point Cloud transformers for grasping. With semantic and physical safety in mind, these modules are interfaced with a real-time trajectory optimizer and a compliant tracking controller to enable human-robot proximity. We demonstrate performance for the following tasks: bi-arm sorting, bottle opening, and trash disposal tasks. These are done zero-shot where the models used have not been trained with any real world data from this bi-arm robot, scenes or workspace. Composing both learning- and non-learning-based components in a modular fashion with interpretable inputs and outputs allows the user to easily debug points of failures and fragilities. One may also in-place swap modules to improve the robustness of the overall platform, for instance with imitation-learned policies. https://sites.google.com/corp/view/safe-robots

arxiv情報

提供元, 利用サービス

arxiv.jp, Google