TaCOS: Task-Specific Camera Optimization with Simulation

要約

知覚タスクのパフォーマンスは、画像システムに大きく影響されます。
ただし、高いタスクパフォ​​ーマンスを備えたカメラの設計にはコストがかかり、広範なカメラの知識と物理ハードウェアの実験が必要です。
さらに、カメラと認識タスクはほとんどが個別に設計されていますが、カメラとタスクを共同設計する最近の方法では、パフォーマンスの向上が示されています。
したがって、カメラを特定の視覚タスクと共同設計する、新しいエンドツーエンドの最適化アプローチを提案します。
この方法では、微分を使用しないオプティマイザーと勾配ベースのオプティマイザーを組み合わせて、製造上の制約内で連続カメラ パラメーターと離散カメラ パラメーターの両方をサポートします。
最新のコンピューター グラフィックス技術と物理的なカメラの特性を活用して、仮想環境でカメラをシミュレートし、設計プロセスのコスト効率を高めます。
物理的なカメラに対してシミュレーションを検証し、手続き的に生成された仮想環境を提供します。
私たちの実験は、私たちの方法が一般的な既製のオプションよりも優れた性能を発揮し、最先端のアプローチと比較してより効率的にカメラを設計することを示しています。サンプル実験ではカメラの設計に67分かかるのに対し、サンプル実験ではわずか2分しかかかりません。
競合する方法。
製造上の制約下でのカメラ、複数のカメラ、型破りなカメラの開発をサポートするように設計されたこのアプローチは、カメラの完全自動設計を前進させることができると考えています。

要約(オリジナル)

The performance of perception tasks is heavily influenced by imaging systems. However, designing cameras with high task performance is costly, requiring extensive camera knowledge and experimentation with physical hardware. Additionally, cameras and perception tasks are mostly designed in isolation, whereas recent methods that jointly design cameras and tasks have shown improved performance. Therefore, we present a novel end-to-end optimization approach that co-designs cameras with specific vision tasks. This method combines derivative-free and gradient-based optimizers to support both continuous and discrete camera parameters within manufacturing constraints. We leverage recent computer graphics techniques and physical camera characteristics to simulate the cameras in virtual environments, making the design process cost-effective. We validate our simulations against physical cameras and provide a procedurally generated virtual environment. Our experiments demonstrate that our method designs cameras that outperform common off-the-shelf options, and more efficiently compared to the state-of-the-art approach, requiring only 2 minutes to design a camera on an example experiment compared with 67 minutes for the competing method. Designed to support the development of cameras under manufacturing constraints, multiple cameras, and unconventional cameras, we believe this approach can advance the fully automated design of cameras.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google