ExACT: An End-to-End Autonomous Excavator System Using Action Chunking With Transformers

要約

掘削機は建設や採掘などのさまざまな作業に不可欠ですが、自律型掘削機システムは安全性と効率を高め、労働力不足に対処し、人間の労働条件を改善します。
既存のモジュール化されたアプローチとは異なり、このペーパーでは、生の LiDAR、カメラ データ、ジョイント位置を処理して掘削機のバルブを直接制御するエンドツーエンドの自律掘削機システムである ExACT を紹介します。
ExACT は、Action Chunking with Transformers (ACT) アーキテクチャを利用して模倣学習を採用し、マルチモーダル センサーからの観測値を入力として取得し、実用的なシーケンスを生成します。
私たちの実験では、取得した現実世界のデータに基づいてシミュレーターを構築し、掘削機のバルブ状態とジョイント速度の関係をモデル化します。
人間が操作するいくつかのデモンストレーション データ軌跡を使用して、ExACT は、シミュレーターによる検証での模倣学習による到達、掘削、投棄などのさまざまな掘削タスクを完了する機能を実証します。
私たちの知る限りでは、ExACT は人間による最小限のデモンストレーションを伴う模倣学習方法によるエンドツーエンドの自律掘削機システムの構築に向けた最初の例です。
この作品に関するビデオは https://youtu.be/NmzR_Rf-aEk でアクセスできます。

要約(オリジナル)

Excavators are crucial for diverse tasks such as construction and mining, while autonomous excavator systems enhance safety and efficiency, address labor shortages, and improve human working conditions. Different from the existing modularized approaches, this paper introduces ExACT, an end-to-end autonomous excavator system that processes raw LiDAR, camera data, and joint positions to control excavator valves directly. Utilizing the Action Chunking with Transformers (ACT) architecture, ExACT employs imitation learning to take observations from multi-modal sensors as inputs and generate actionable sequences. In our experiment, we build a simulator based on the captured real-world data to model the relations between excavator valve states and joint velocities. With a few human-operated demonstration data trajectories, ExACT demonstrates the capability of completing different excavation tasks, including reaching, digging and dumping through imitation learning in validations with the simulator. To the best of our knowledge, ExACT represents the first instance towards building an end-to-end autonomous excavator system via imitation learning methods with a minimal set of human demonstrations. The video about this work can be accessed at https://youtu.be/NmzR_Rf-aEk.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google