Attention-Based Depth Distillation with 3D-Aware Positional Encoding for Monocular 3D Object Detection

要約

単眼 3D オブジェクト検出は、単一の画像入力のみから正確な 3D 位置特定を生成する必要があるため、低コストではありますが、困難なタスクです。
最近開発された深度支援手法は、単眼深度推定ネットワークによって事前に計算されるか、3D オブジェクト検出と共同で評価される明示的な深度マップを中間特徴として使用することにより、有望な結果を示しています。
ただし、推定深度事前分布からの避けられない誤差により、セマンティック情報と 3D ローカライゼーションのずれが生じ、その結果、特徴の不鮮明化や次善の予測が生じる可能性があります。
この問題を軽減するために、3D 対応の位置エンコーディングを備えた注意ベースの深度知識蒸留フレームワークである ADD を提案します。
ステレオまたは LiDAR ベースの教師を採用したこれまでの知識蒸留フレームワークとは異なり、生徒と同一のアーキテクチャで教師を構築しますが、入力として追加のグラウンドトゥルースの深さを備えています。
私たちの教師の設計のおかげで、私たちのフレームワークはシームレスでドメインギャップがなく、簡単に実装でき、オブジェクトごとのグラウンドトゥルースの深さと互換性があります。
具体的には、中間の機能と応答を活用して知識を蒸留します。
長距離の 3D 依存関係を考慮して、生徒の適応のために \emph{3D を意識した自己注意} モジュールと \emph{対象を認識した相互注意} モジュールを提案します。
困難な KITTI 3D 物体検出ベンチマークに対するフレームワークの有効性を検証するために、広範な実験が行われています。
私たちは 3 つの代表的な単眼検出器にフレームワークを実装し、ベースライン モデルと比較して追加の推論計算コストを発生させずに最先端のパフォーマンスを実現します。
私たちのコードは https://github.com/rockywind/ADD で入手できます。

要約(オリジナル)

Monocular 3D object detection is a low-cost but challenging task, as it requires generating accurate 3D localization solely from a single image input. Recent developed depth-assisted methods show promising results by using explicit depth maps as intermediate features, which are either precomputed by monocular depth estimation networks or jointly evaluated with 3D object detection. However, inevitable errors from estimated depth priors may lead to misaligned semantic information and 3D localization, hence resulting in feature smearing and suboptimal predictions. To mitigate this issue, we propose ADD, an Attention-based Depth knowledge Distillation framework with 3D-aware positional encoding. Unlike previous knowledge distillation frameworks that adopt stereo- or LiDAR-based teachers, we build up our teacher with identical architecture as the student but with extra ground-truth depth as input. Credit to our teacher design, our framework is seamless, domain-gap free, easily implementable, and is compatible with object-wise ground-truth depth. Specifically, we leverage intermediate features and responses for knowledge distillation. Considering long-range 3D dependencies, we propose \emph{3D-aware self-attention} and \emph{target-aware cross-attention} modules for student adaptation. Extensive experiments are performed to verify the effectiveness of our framework on the challenging KITTI 3D object detection benchmark. We implement our framework on three representative monocular detectors, and we achieve state-of-the-art performance with no additional inference computational cost relative to baseline models. Our code is available at https://github.com/rockywind/ADD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google