World Model Based Sim2Real Transfer for Visual Navigation

要約

Sim2Real 転送は、安価なシミュレータから現実世界への転送に役立つため、人気を集めています。
この論文では、従来の \textit{World Model} のコンポーネントを堅牢なシステムに融合し、シミュレータ内で完全にトレーニングされ、\textit{Zero-Shot} が現実世界に転送する新しいシステムを紹介します。
転送を容易にするために、\textit{Bird’s Eye View (BEV)} 画像に基づく中間表現を使用します。
したがって、私たちのロボットは、最初に複雑な \textit{一人称視点 (FPV)} ベースの RGB 画像から BEV 表現への変換を学習し、次にそれらの表現を使用してナビゲートすることを学習することで、シミュレーター内でのナビゲーションを学習します。
その後、現実世界でテストされると、ロボットは FPV ベースの RGB 画像をダウンストリーム ポリシーで使用される埋め込みに変換する知覚モデルを使用します。
\textit{アンカー画像} と \textit{混合密度 LSTM} を使用した状態チェック モジュールの組み込みにより、不確実で欠落した観測値が補間されるだけでなく、現実世界の環境にさらされたときのモデルの堅牢性も強化されます。
CARLA シミュレーターの \textit{Differential drive} ロボットを使用して収集されたデータを使用してモデルをトレーニングしました。
私たちの方法論の有効性は、訓練されたモデルを \textit{現実世界の差動駆動} ロボットに展開することによって示されます。
最後に、トレーニングとデプロイのための包括的なコードベース、データセット、モデルをリリースし、一般公開します。

要約(オリジナル)

Sim2Real transfer has gained popularity because it helps transfer from inexpensive simulators to real world. This paper presents a novel system that fuses components in a traditional \textit{World Model} into a robust system, trained entirely within a simulator, that \textit{Zero-Shot} transfers to the real world. To facilitate transfer, we use an intermediary representation that are based on \textit{Bird’s Eye View (BEV)} images. Thus, our robot learns to navigate in a simulator by first learning to translate from complex \textit{First-Person View (FPV)} based RGB images to BEV representations, then learning to navigate using those representations. Later, when tested in the real world, the robot uses the perception model that translates FPV-based RGB images to embeddings that are used by the downstream policy. The incorporation of state-checking modules using \textit{Anchor images} and \textit{Mixture Density LSTM} not only interpolates uncertain and missing observations but also enhances the robustness of the model when exposed to the real-world environment. We trained the model using data collected using a \textit{Differential drive} robot in the CARLA simulator. Our methodology’s effectiveness is shown through the deployment of trained models onto a \textit{Real world Differential drive} robot. Lastly we release a comprehensive codebase, dataset and models for training and deployment that are available to the public.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google