POLAR-Sim: Augmenting NASA’s POLAR Dataset for Data-Driven Lunar Perception and Rover Simulation

要約

NASA の POLAR データセットには、岩石がまばらに分布しているエリアや密集しているエリア、クレーター、さまざまなサイズの岩石など、13 のさまざまな地形シナリオにわたって撮影された約 2,600 ペアのハイ ダイナミック レンジのステレオ写真が含まれています。
これらの写真の目的は、ロボット工学、AI ベースの認識、自律ナビゲーションの開発を促進することです。
NASA エイムズは、月極周辺からの月の画像が不足していることを認識し、月のこれらの領域からの探査機の動作条件に似た画像を地球上で、ただし制御された条件下で作成しました。
2 つの課題を達成することを目的とした取り組みの結果について報告します。
タスク 1 では、NASA の POLAR データセット内のすべての画像にバウンディング ボックスとセマンティック セグメンテーション情報を提供しました。
この取り組みにより、岩、影、クレーターに関する 23,000 のラベルとセマンティック セグメンテーションの注釈が作成されました。
タスク 2 では、POLAR データセット内のすべての写真を生成するために使用された 13 のシナリオのデジタル ツインを生成しました。
具体的には、これらのシナリオごとに、個別のメッシュ、テクスチャ情報、および各シナリオの地面と岩に関連するマテリアル プロパティを作成しました。
これにより、カメラ モデルを持っている人は誰でも、POLAR データセットの 13 のシナリオのいずれかに関連付けられた画像を合成できます。
実際には、シーン内のさまざまな場所と露出値、太陽のさまざまな位置、アクティブな照明の有無などを使用して、意味論的にラベル付けされた合成画像を必要なだけ生成できます。この作業の利点は 2 つあります。
。
タスク 1 の結果を使用して、月の画像を扱う知覚アルゴリズムをトレーニングおよび/またはテストできます。
タスク 2 では、月の条件で動作すると予想される AI アルゴリズムをトレーニングおよびテストするために、必要なだけデータを生成できます。
この作業の成果はすべてパブリック リポジトリで公開されており、自由に使用および配布できます。

要約(オリジナル)

NASA’s POLAR dataset contains approximately 2,600 pairs of high dynamic range stereo photos captured across 13 varied terrain scenarios, including areas with sparse or dense rock distributions, craters, and rocks of different sizes. The purpose of these photos is to spur development in robotics, AI-based perception, and autonomous navigation. Acknowledging a scarcity of lunar images from around the lunar poles, NASA Ames produced on Earth but in controlled conditions images that resemble rover operating conditions from these regions of the Moon. We report on the outcomes of an effort aimed at accomplishing two tasks. In Task 1, we provided bounding boxes and semantic segmentation information for all the images in NASA’s POLAR dataset. This effort resulted in 23,000 labels and semantic segmentation annotations pertaining to rocks, shadows, and craters. In Task 2, we generated the digital twins of the 13 scenarios that have been used to produce all the photos in the POLAR dataset. Specifically, for each of these scenarios, we produced individual meshes, texture information, and material properties associated with the ground and the rocks in each scenario. This allows anyone with a camera model to synthesize images associated with any of the 13 scenarios of the POLAR dataset. Effectively, one can generate as many semantically labeled synthetic images as desired — with different locations and exposure values in the scene, for different positions of the sun, with or without the presence of active illumination, etc. The benefit of this work is twofold. Using outcomes of Task 1, one can train and/or test perception algorithms that deal with Moon images. For Task 2, one can produce as much data as desired to train and test AI algorithms that are anticipated to work in lunar conditions. All the outcomes of this work are available in a public repository for unfettered use and distribution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google