Unifying 3D Representation and Control of Diverse Robots with a Single Camera

要約

自然生物の複雑な構造と多様な機能を反映することは、ロボット工学における長年の課題です。
最新の製造技術により、実現可能なハードウェアが大幅に拡張されましたが、これらのシステムを導入するには、目的の動作をアクチュエータ コマンドに変換するための制御ソフトウェアが必要です。
従来のロボットは、関節を介して接続された剛体リンクとして簡単にモデル化できますが、多くの場合、複数の材料を使用していたり​​、柔らかく、感知機能が欠けており、使用すると材料特性が変化する可能性があるバイオインスピレーションのロボットをモデル化して制御することは、未解決の課題のままです。
ここでは、視覚だけからロボットのモデリングと制御を自律的に学習するアーキテクチャであるニューラル ヤコビアン フィールドを紹介します。
私たちのアプローチでは、ロボットの材質、作動、センシングについて何の仮定も設けず、制御に必要なカメラは 1 台のみで、ランダムなコマンドの実行を観察することで専門家の介入なしでロボットの制御方法を学習します。
私たちは、作動、材料、製造、コストが異なるさまざまなロボット マニピュレータのセットでこの方法を実証します。
私たちのアプローチは正確な閉ループ制御を実現し、各ロボットの因果的な動的構造を回復します。
唯一のセンサーとして汎用カメラを使用したロボット制御を可能にすることで、私たちの研究はロボット システムの設計領域を劇的に広げ、ロボット自動化への障壁を下げる出発点となると期待しています。

要約(オリジナル)

Mirroring the complex structures and diverse functions of natural organisms is a long-standing challenge in robotics. Modern fabrication techniques have dramatically expanded feasible hardware, yet deploying these systems requires control software to translate desired motions into actuator commands. While conventional robots can easily be modeled as rigid links connected via joints, it remains an open challenge to model and control bio-inspired robots that are often multi-material or soft, lack sensing capabilities, and may change their material properties with use. Here, we introduce Neural Jacobian Fields, an architecture that autonomously learns to model and control robots from vision alone. Our approach makes no assumptions about the robot’s materials, actuation, or sensing, requires only a single camera for control, and learns to control the robot without expert intervention by observing the execution of random commands. We demonstrate our method on a diverse set of robot manipulators, varying in actuation, materials, fabrication, and cost. Our approach achieves accurate closed-loop control and recovers the causal dynamic structure of each robot. By enabling robot control with a generic camera as the only sensor, we anticipate our work will dramatically broaden the design space of robotic systems and serve as a starting point for lowering the barrier to robotic automation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google