Collision avoidance from monocular vision trained with novel view synthesis

要約

衝突回避は、標高マップや占有グリッドなどの明示的な環境モデルで確認できますが、そのようなモデルを移動ポリシーと統合するには、正確な状態推定が必要です。
この作業では、暗黙の環境モデルからの衝突回避の問題を検討します。
単眼のRGB画像を入力として使用し、2Dガウスのスプラッティングによって生成されたフォトリアリスティック画像から衝突検証ポリシーをトレーニングします。
障害のあるインターセプトコースにロボットをもたらす速度コマンドの下で、RealWorld実験で得られたパイプラインを評価します。
我々の結果は、RGB画像が、トレーニングデータが収集された部屋と分散環境の両方で、衝突回避の決定を下すのに十分であることを示唆しています。

要約(オリジナル)

Collision avoidance can be checked in explicit environment models such as elevation maps or occupancy grids, yet integrating such models with a locomotion policy requires accurate state estimation. In this work, we consider the question of collision avoidance from an implicit environment model. We use monocular RGB images as inputs and train a collisionavoidance policy from photorealistic images generated by 2D Gaussian splatting. We evaluate the resulting pipeline in realworld experiments under velocity commands that bring the robot on an intercept course with obstacles. Our results suggest that RGB images can be enough to make collision-avoidance decisions, both in the room where training data was collected and in out-of-distribution environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google