TaCOS: Task-Specific Camera Optimization with Simulation

要約

アプリケーションにおけるロボットのパフォーマンスは、感覚入力の質に大きく依存します。
ただし、特定のロボット タスク向けのセンサー ペイロードとそのパラメーターの設計は、十分に確立されたセンサーの知識と物理ハードウェアを使用した広範な実験を必要とする高価なプロセスです。
ロボットの認識においてカメラが極めて重要な役割を果たしていることから、導関数を使用しないオプティマイザーと勾配ベースのオプティマイザーを組み合わせることにより、カメラと特定のロボット タスクを共同設計するための新しいエンドツーエンドの最適化アプローチを導入します。
提案された方法は、最近のコンピューター グラフィックス技術と物理的なカメラの特性を活用して、ソフトウェアでカメラのプロトタイプを作成し、ロボットの動作環境とタスクをシミュレートし、コスト効率の高い方法で目的のタスクに基づいてカメラの設計を最適化します。
物理的なカメラと比較することでカメラ シミュレーションの精度を検証し、一般的な既製の代替品よりも強力なパフォーマンスを備えたカメラの設計を実証します。
当社のアプローチは、連続カメラと離散カメラの両方のパラメータ、製造上の制約の最適化をサポートしており、複数のカメラや型破りなカメラを含む幅広いカメラ設計シナリオに一般化できます。
この取り組みにより、特定のロボットタスク用のカメラの完全自動設計が前進します。

要約(オリジナル)

The performance of robots in their applications heavily depends on the quality of sensory input. However, designing sensor payloads and their parameters for specific robotic tasks is an expensive process that requires well-established sensor knowledge and extensive experiments with physical hardware. With cameras playing a pivotal role in robotic perception, we introduce a novel end-to-end optimization approach for co-designing a camera with specific robotic tasks by combining derivative-free and gradient-based optimizers. The proposed method leverages recent computer graphics techniques and physical camera characteristics to prototype the camera in software, simulate operational environments and tasks for robots, and optimize the camera design based on the desired tasks in a cost-effective way. We validate the accuracy of our camera simulation by comparing it with physical cameras, and demonstrate the design of cameras with stronger performance than common off-the-shelf alternatives. Our approach supports the optimization of both continuous and discrete camera parameters, manufacturing constraints, and can be generalized to a broad range of camera design scenarios including multiple cameras and unconventional cameras. This work advances the fully automated design of cameras for specific robotics tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google