Action Flow Matching for Continual Robot Learning

要約

ロボット工学の継続的な学習は、変化する環境やタスクに常に適応できるシステムを探し、人間の適応性を反映しています。
重要な課題は、計画と制御に不可欠なダイナミクスモデルを改良することです。一方、安全な適応、壊滅的な忘却、外れ値管理、データ効率、探索と搾取のバランスなどの問題に対処することです。
この目標に向けて、オンラインロボットダイナミクスモデルアライメントのフローマッチングをレバレッジ化する生成フレームワークを導入します。
不整合されたモデルに基づいてアクションを実行するのではなく、私たちのアプローチは、モデルが十分に調整された場合にロボットが取るものとよりよく一致するように計画されたアクションを改善します。
伝統的に行われているように、不一致モデルで探索するのではなく、アクション自体を変換することにより、ロボットは有益なデータをより効率的に収集し、それにより学習を加速することがわかります。
さらに、このメソッドは、リプレイバッファーまたはレガシーモデルのスナップショットへの依存を減らしながら、進化する可能性のあるモデルと不完全なモデルを処理できることを検証します。
無人の地上車両と四肢装置の2つのプラットフォームを使用してアプローチを検証します。
結果は、記録的な34.2 \％がタスクの成功率が高いことを示しており、継続的なロボット学習を可能にする可能性を示しています。
コード：https：//github.com/alejandromllo/action_flow_matching。

要約(オリジナル)

Continual learning in robotics seeks systems that can constantly adapt to changing environments and tasks, mirroring human adaptability. A key challenge is refining dynamics models, essential for planning and control, while addressing issues such as safe adaptation, catastrophic forgetting, outlier management, data efficiency, and balancing exploration with exploitation — all within task and onboard resource constraints. Towards this goal, we introduce a generative framework leveraging flow matching for online robot dynamics model alignment. Rather than executing actions based on a misaligned model, our approach refines planned actions to better match with those the robot would take if its model was well aligned. We find that by transforming the actions themselves rather than exploring with a misaligned model — as is traditionally done — the robot collects informative data more efficiently, thereby accelerating learning. Moreover, we validate that the method can handle an evolving and possibly imperfect model while reducing, if desired, the dependency on replay buffers or legacy model snapshots. We validate our approach using two platforms: an unmanned ground vehicle and a quadrotor. The results highlight the method’s adaptability and efficiency, with a record 34.2\% higher task success rate, demonstrating its potential towards enabling continual robot learning. Code: https://github.com/AlejandroMllo/action_flow_matching.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google