Identification of Fine-grained Systematic Errors via Controlled Scene Generation

要約

多くの安全性が重要なアプリケーション、特に自動運転では、信頼性の高い物体検出器が必要です。
これらの検出器を導入する前に、潜在的な障害や系統的エラーを検索して特定する方法を使用すると、非常に効果的に支援できます。
系統的誤差は、オブジェクトの位置、スケール、方向、色などの属性の組み合わせと、それぞれの背景の構成によって特徴付けられます。
それらを識別するには、テスト セットからの実際の画像以外のものに依存する必要があります。なぜなら、それらは、非常にまれではあるが考えられる属性の組み合わせを説明していないからです。
この制限を克服するために、私たちは、複数のオブジェクトを含む複雑なシーンの作成を可能にする、きめ細かい制御でリアルな合成シーンを生成するパイプラインを提案します。
私たちのアプローチである BEV2EGO では、2D 鳥瞰図 (BEV) シーン構成を一人称視点 (EGO) にマッピングする道路状況依存制御を使用して、完全なシーンを現実的に生成できます。
さらに、BEV2EGO に最適な生成アウトペインティング モデルを選択するために、制御されたシーン生成のベンチマークを提案します。
さらに、これを使用して、複数の最先端の物体検出モデルの体系的な分析を実行し、それらの違いを発見します。

要約(オリジナル)

Many safety-critical applications, especially in autonomous driving, require reliable object detectors. They can be very effectively assisted by a method to search for and identify potential failures and systematic errors before these detectors are deployed. Systematic errors are characterized by combinations of attributes such as object location, scale, orientation, and color, as well as the composition of their respective backgrounds. To identify them, one must rely on something other than real images from a test set because they do not account for very rare but possible combinations of attributes. To overcome this limitation, we propose a pipeline for generating realistic synthetic scenes with fine-grained control, allowing the creation of complex scenes with multiple objects. Our approach, BEV2EGO, allows for a realistic generation of the complete scene with road-contingent control that maps 2D bird’s-eye view (BEV) scene configurations to a first-person view (EGO). In addition, we propose a benchmark for controlled scene generation to select the most appropriate generative outpainting model for BEV2EGO. We further use it to perform a systematic analysis of multiple state-of-the-art object detection models and discover differences between them.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google