Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks

要約

シミュレーターは、スケーラブルなデータ生成、柔軟な設計、軌道の最適化を提供するため、自律ロボット学習のための強力なツールです。
ただし、シミュレーション データから学習した動作を現実世界に移すことは困難であることが判明しており、通常は計算負荷の高いドメインのランダム化手法やモデルのさらなる微調整によって軽減されます。
シミュレーションからリアルへのビジュアル クアッドローター ナビゲーション タスクにおける分布シフトに対する一般化とロバスト性を向上させる方法を提案します。
この目的を達成するために、まずガウス スプラッティングとクアローター飛行ダイナミクスを統合してシミュレーターを構築し、次にリキッド ニューラル ネットワークを使用して堅牢なナビゲーション ポリシーをトレーニングします。
このようにして、3D ガウス スプラッティング放射輝度フィールド レンダリングの進歩、エキスパート デモンストレーション トレーニング データの巧妙なプログラミング、および Liquid ネットワークのタスク理解機能を組み合わせたフルスタックの模倣学習プロトコルを取得します。
一連の定量的な飛行テストを通じて、単一のシミュレーション シーンで学習したナビゲーション スキルが現実世界に直接確実に伝達されることを実証します。
さらに、急激な分布や物理的環境の変化下でも、トレーニング環境を超えてパフォーマンスを維持できることを示します。
私たちが学習した Liquid ポリシーは、写真のようにリアルな屋内飛行のみをシミュレートして厳選された単一ターゲット操作で訓練され、屋外の実際のハードウェア プラットフォームでの複数ステップのハイキングに一般化されます。

要約(オリジナル)

Simulators are powerful tools for autonomous robot learning as they offer scalable data generation, flexible design, and optimization of trajectories. However, transferring behavior learned from simulation data into the real world proves to be difficult, usually mitigated with compute-heavy domain randomization methods or further model fine-tuning. We present a method to improve generalization and robustness to distribution shifts in sim-to-real visual quadrotor navigation tasks. To this end, we first build a simulator by integrating Gaussian Splatting with quadrotor flight dynamics, and then, train robust navigation policies using Liquid neural networks. In this way, we obtain a full-stack imitation learning protocol that combines advances in 3D Gaussian splatting radiance field rendering, crafty programming of expert demonstration training data, and the task understanding capabilities of Liquid networks. Through a series of quantitative flight tests, we demonstrate the robust transfer of navigation skills learned in a single simulation scene directly to the real world. We further show the ability to maintain performance beyond the training environment under drastic distribution and physical environment changes. Our learned Liquid policies, trained on single target manoeuvres curated from a photorealistic simulated indoor flight only, generalize to multi-step hikes onboard a real hardware platform outdoors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google