MonoSKD: General Distillation Framework for Monocular 3D Object Detection via Spearman Correlation Coefficient

要約

単眼の 3D オブジェクト検出は、単一の画像から正確な 3D 位置を予測するのが難しいため、本質的に不適切な問題です。
既存の単眼 3D 検出知識抽出方法は通常、LiDAR を画像平面に投影し、それに応じて教師ネットワークをトレーニングします。
LiDAR ベースのモデルの知識を RGB ベースのモデルに転送することはより複雑であるため、一般的な抽出戦略が必要です。
クロスモーダル問題を軽減するために、クロスモーダル特徴間の相対相関を学習するために、スピアマン相関係数に基づく単眼 3D 検出用の新しい知識蒸留フレームワークである MonoSKD を提案します。
これらの特徴間の大きなギャップを考慮すると、特徴を厳密に調整するとトレーニングに誤解を招く可能性があるため、より緩やかなスピアマン損失を提案します。
さらに、適切な蒸留場所を選択し、冗長モジュールを削除することにより、私たちのスキームはより多くの GPU リソースを節約し、既存の方法よりも高速にトレーニングします。
困難な KITTI 3D 物体検出ベンチマークに対するフレームワークの有効性を検証するために、広範な実験が行われています。
私たちの手法は、提出まで追加の推論計算コストなしで最先端のパフォーマンスを実現します。
私たちのコードは https://github.com/Senwang98/MonoSKD で入手できます。

要約(オリジナル)

Monocular 3D object detection is an inherently ill-posed problem, as it is challenging to predict accurate 3D localization from a single image. Existing monocular 3D detection knowledge distillation methods usually project the LiDAR onto the image plane and train the teacher network accordingly. Transferring LiDAR-based model knowledge to RGB-based models is more complex, so a general distillation strategy is needed. To alleviate cross-modal prob-lem, we propose MonoSKD, a novel Knowledge Distillation framework for Monocular 3D detection based on Spearman correlation coefficient, to learn the relative correlation between cross-modal features. Considering the large gap between these features, strict alignment of features may mislead the training, so we propose a looser Spearman loss. Furthermore, by selecting appropriate distillation locations and removing redundant modules, our scheme saves more GPU resources and trains faster than existing methods. Extensive experiments are performed to verify the effectiveness of our framework on the challenging KITTI 3D object detection benchmark. Our method achieves state-of-the-art performance until submission with no additional inference computational cost. Our codes are available at https://github.com/Senwang98/MonoSKD

arxiv情報

提供元, 利用サービス

arxiv.jp, Google