Learning to Select Camera Views: Efficient Multiview Understanding at Few Glances

要約

マルチビュー カメラのセットアップは、多くのコンピューター ビジョン アプリケーションで、あいまいさを減らし、オクルージョンを軽減し、視野範囲を拡大するのに役立つことが証明されています。
ただし、複数のビューに関連する高い計算コストは​​、計算リソースが限られているエンド デバイスにとって大きな課題となります。
この問題に対処するために、特定のビューからターゲット オブジェクトまたはシナリオを分析し、処理に次善のビューを選択するビュー選択アプローチを提案します。
私たちのアプローチは、ビューを選択するだけでなく、タスク ネットワークとの共同トレーニングも容易にする、強化学習ベースのカメラ選択モジュール MVSelect を特徴としています。
マルチビュー分類および検出タスクに関する実験結果は、N 個の利用可能なビューのうち 2 つまたは 3 つだけを使用しながら、我々のアプローチが有望なパフォーマンスを達成し、計算コストを大幅に削減することを示しています。
さらに、選択したビューの分析により、パフォーマンスへの影響を最小限に抑えて特定のカメラをオフにできることが明らかになり、マルチビュー システムの将来のカメラ レイアウトの最適化に光が当てられます。
コードは https://github.com/hou-yz/MVSelect で入手できます。

要約(オリジナル)

Multiview camera setups have proven useful in many computer vision applications for reducing ambiguities, mitigating occlusions, and increasing field-of-view coverage. However, the high computational cost associated with multiple views poses a significant challenge for end devices with limited computational resources. To address this issue, we propose a view selection approach that analyzes the target object or scenario from given views and selects the next best view for processing. Our approach features a reinforcement learning based camera selection module, MVSelect, that not only selects views but also facilitates joint training with the task network. Experimental results on multiview classification and detection tasks show that our approach achieves promising performance while using only 2 or 3 out of N available views, significantly reducing computational costs. Furthermore, analysis on the selected views reveals that certain cameras can be shut off with minimal performance impact, shedding light on future camera layout optimization for multiview systems. Code is available at https://github.com/hou-yz/MVSelect.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google