NeRFmentation: NeRF-based Augmentation for Monocular Depth Estimation

要約

単眼深度推定 (MDE) モデルの機能は、十分で多様なデータセットが利用できるかどうかによって制限されます。
自動運転用の MDE モデルの場合、この問題は、取得されたデータ軌跡の直線性によってさらに悪化します。
私たちは、より多様な表示方向を持つ合成データをトレーニング データセットに導入するための NeRF ベースのデータ拡張パイプラインを提案し、モデルのパフォーマンスと堅牢性に対するアプローチの利点を実証します。
「NeRFmentation」と呼ばれるデータ拡張パイプラインは、データセット内の各シーンで NeRF をトレーニングし、関連するメトリクスに基づいて標準以下の NeRF をフィルタリングして除外し、それらを使用して新しい視点方向からキャプチャされた合成 RGB-D 画像を生成します。
この研究では、人気のある自動運転データセット KITTI 上の 3 つの最先端の MDE アーキテクチャと組み合わせて私たちの技術を適用し、Eigen 分割のトレーニング セットを強化します。
オリジナルのテスト セット、別の一般的な駆動セット、および独自の合成テスト セットで、結果として得られるパフォーマンスの向上を評価します。

要約(オリジナル)

The capabilities of monocular depth estimation (MDE) models are limited by the availability of sufficient and diverse datasets. In the case of MDE models for autonomous driving, this issue is exacerbated by the linearity of the captured data trajectories. We propose a NeRF-based data augmentation pipeline to introduce synthetic data with more diverse viewing directions into training datasets and demonstrate the benefits of our approach to model performance and robustness. Our data augmentation pipeline, which we call ‘NeRFmentation’, trains NeRFs on each scene in the dataset, filters out subpar NeRFs based on relevant metrics, and uses them to generate synthetic RGB-D images captured from new viewing directions. In this work, we apply our technique in conjunction with three state-of-the-art MDE architectures on the popular autonomous driving dataset KITTI, augmenting its training set of the Eigen split. We evaluate the resulting performance gain on the original test set, a separate popular driving set, and our own synthetic test set.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google