Learning to Simulate Realistic LiDARs

要約

現実的なセンサーをシミュレートすることは、自律システムのデータ生成において困難な部分であり、多くの場合、慎重に手作りされたセンサー設計、シーン プロパティ、および物理モデリングが必要です。
これを軽減するために、現実的な LiDAR センサーのデータ駆動型シミュレーションのパイプラインを導入します。
RGB 画像と対応する LiDAR 機能 (レイドロップやポイントごとの強度など) との間のマッピングを実際のデータセットから直接学習するモデルを提案します。
私たちのモデルは、透明な表面のドロップポイントや反射素材の高強度リターンなどの現実的な効果をエンコードすることを学習できることを示しています。
既製のシミュレータ ソフトウェアによって提供される素朴なレイキャスト ポイント クラウドに適用すると、モデルは強度を予測し、実際の LiDAR センサーと一致するようにシーンの外観に基づいてポイントを削除することにより、データを強化します。
この手法を使用して、2 つの異なる LiDAR センサーのモデルを学習し、それらを使用してシミュレートされた LiDAR データを適宜改善します。
車両セグメンテーションのサンプル タスクを通じて、シミュレーションされた点群をこの手法で強化することで、下流のタスク パフォーマンスが向上することを示します。

要約(オリジナル)

Simulating realistic sensors is a challenging part in data generation for autonomous systems, often involving carefully handcrafted sensor design, scene properties, and physics modeling. To alleviate this, we introduce a pipeline for data-driven simulation of a realistic LiDAR sensor. We propose a model that learns a mapping between RGB images and corresponding LiDAR features such as raydrop or per-point intensities directly from real datasets. We show that our model can learn to encode realistic effects such as dropped points on transparent surfaces or high intensity returns on reflective materials. When applied to naively raycasted point clouds provided by off-the-shelf simulator software, our model enhances the data by predicting intensities and removing points based on the scene’s appearance to match a real LiDAR sensor. We use our technique to learn models of two distinct LiDAR sensors and use them to improve simulated LiDAR data accordingly. Through a sample task of vehicle segmentation, we show that enhancing simulated point clouds with our technique improves downstream task performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google