OPA-3D: Occlusion-Aware Pixel-Wise Aggregation for Monocular 3D Object Detection

要約

単眼 3D オブジェクト検出は、疑似 LiDAR 回復のための事前トレーニング済み深度推定器の使用のおかげで、最近大幅な飛躍を遂げましたが、このような 2 段階の方法は通常、オーバーフィッティングに悩まされ、深度とオブジェクトの間の幾何学的関係を明示的にカプセル化することができません。
境界ボックス。
この制限を克服するために、代わりに、深度境界ボックスの残差とオブジェクト境界ボックスを使用して密なシーンの深度を共同で推定する、単一ステージのエンドツーエンドのオクルージョン対応ピクセル単位の集約ネットワークである OPA-3D を提案します。
3D オブジェクトの 2 ストリーム検出により、検出が大幅に堅牢になります。
これにより、Geometry Stream として示されるジオメトリ ストリームは、可視深度と深度バウンディング ボックスの残差を組み合わせて、明示的なオクルージョン認識最適化によってオブジェクト バウンディング ボックスを復元します。
さらに、距離の認識を強化するために、バウンディング ボックス ベースのジオメトリ プロジェクション スキームが採用されています。
コンテキスト ストリームと名付けられた 2 番目のストリームは、3D オブジェクトの位置とサイズを直接回帰します。
この新しい 2 ストリーム表現により、両方のストリームの出力を揃えるクロスストリーム一貫性条件を適用できるようになり、全体的なパフォーマンスが向上します。
パブリック ベンチマークでの広範な実験により、OPA-3D はリアルタイムの推論速度を維持しながら、メインの自動車カテゴリで最先端の方法よりも優れていることが実証されています。
すべてのコードとトレーニング済みモデルを近日中にリリースする予定です。

要約(オリジナル)

Despite monocular 3D object detection having recently made a significant leap forward thanks to the use of pre-trained depth estimators for pseudo-LiDAR recovery, such two-stage methods typically suffer from overfitting and are incapable of explicitly encapsulating the geometric relation between depth and object bounding box. To overcome this limitation, we instead propose OPA-3D, a single-stage, end-to-end, Occlusion-Aware Pixel-Wise Aggregation network that to jointly estimate dense scene depth with depth-bounding box residuals and object bounding boxes, allowing a two-stream detection of 3D objects, leading to significantly more robust detections. Thereby, the geometry stream denoted as the Geometry Stream, combines visible depth and depth-bounding box residuals to recover the object bounding box via explicit occlusion-aware optimization. In addition, a bounding box based geometry projection scheme is employed in an effort to enhance distance perception. The second stream, named as the Context Stream, directly regresses 3D object location and size. This novel two-stream representation further enables us to enforce cross-stream consistency terms which aligns the outputs of both streams, improving the overall performance. Extensive experiments on the public benchmark demonstrate that OPA-3D outperforms state-of-the-art methods on the main Car category, whilst keeping a real-time inference speed. We plan to release all codes and trained models soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google