NeRF-To-Real Tester: Neural Radiance Fields as Test Image Generators for Vision of Autonomous Systems

要約

陸上および水上のインフラストラクチャの自律検査は急速に成長している市場であり、その用途には、建設物の測量、プラントの監視、陸上および洋上風力発電所の環境変化の追跡などが含まれます。
自律型水中ビークルおよび無人航空機の場合、コントローラーをシミュレーション条件に過剰適合させると、基本的に動作環境でのパフォーマンスの低下につながります。
これらのシステムが直面する課題を正確に表す、より多様で現実的なテスト データが緊急に必要とされています。
当社は、Neural Radiance Fields を活用して現実的で多様なテスト画像を生成し、それらを vSLAM や物体検出などのビジョン コンポーネント用の変成テスト フレームワークに統合することで、自律システムの知覚テスト データを生成するという課題に取り組んでいます。
当社のツールである N2R-Tester を使用すると、カスタム シーンのモデルをトレーニングし、摂動された位置からテスト画像をレンダリングできます。
AUV および UAV の 8 つの異なる視覚コンポーネントに対する N2R-Tester の実験的評価により、このアプローチの有効性と多用途性が実証されました。

要約(オリジナル)

Autonomous inspection of infrastructure on land and in water is a quickly growing market, with applications including surveying constructions, monitoring plants, and tracking environmental changes in on- and off-shore wind energy farms. For Autonomous Underwater Vehicles and Unmanned Aerial Vehicles overfitting of controllers to simulation conditions fundamentally leads to poor performance in the operation environment. There is a pressing need for more diverse and realistic test data that accurately represents the challenges faced by these systems. We address the challenge of generating perception test data for autonomous systems by leveraging Neural Radiance Fields to generate realistic and diverse test images, and integrating them into a metamorphic testing framework for vision components such as vSLAM and object detection. Our tool, N2R-Tester, allows training models of custom scenes and rendering test images from perturbed positions. An experimental evaluation of N2R-Tester on eight different vision components in AUVs and UAVs demonstrates the efficacy and versatility of the approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google