Robotic Learning in your Backyard: A Neural Simulator from Open Source Components

要約

高速かつ高品質の新規ビュー合成のための 3D ガウス スプラッティングの出現により、ロボット強化学習用にビデオからフォトリアリスティックなシミュレーションを構築する可能性が開かれました。
このアプローチはいくつかの研究論文で実証されていますが、そのようなシミュレーターの構築に使用されるソフトウェア ツールは依然として入手できないか、独自のものです。
データ駆動型ロボット制御ポリシーをトレーニングするためのオープンソース ニューラル シミュレーターである SplatGym を紹介します。
シミュレーターは、1 つのビデオからフォトリアリスティックな仮想環境を作成します。
エゴ カメラ ビューの生成、衝突検出、仮想オブジェクトのインペイントをサポートしています。
強化学習によるいくつかのビジュアル ナビゲーション ポリシーのトレーニングを示します。
SplatGym は、ロボット学習のためのオープンソースの汎用ニューラル環境に向けた注目すべき第一歩です。
便利で制限のないツールを提供し、従来の 3D 環境の手動開発の必要性を排除することで、強化学習を効果的に利用できるアプリケーションの範囲を広げます。

要約(オリジナル)

The emergence of 3D Gaussian Splatting for fast and high-quality novel view synthesize has opened up the possibility to construct photo-realistic simulations from video for robotic reinforcement learning. While the approach has been demonstrated in several research papers, the software tools used to build such a simulator remain unavailable or proprietary. We present SplatGym, an open source neural simulator for training data-driven robotic control policies. The simulator creates a photorealistic virtual environment from a single video. It supports ego camera view generation, collision detection, and virtual object in-painting. We demonstrate training several visual navigation policies via reinforcement learning. SplatGym represents a notable first step towards an open-source general-purpose neural environment for robotic learning. It broadens the range of applications that can effectively utilise reinforcement learning by providing convenient and unrestricted tooling, and by eliminating the need for the manual development of conventional 3D environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google