LIX: Implicitly Infusing Spatial Geometric Prior Knowledge into Visual Semantic Segmentation for Autonomous Driving

要約

視覚的セマンティック セグメンテーション用の二重エンコーダを備えたデータ融合ネットワークによって達成される優れたパフォーマンスにもかかわらず、空間幾何学的データが利用できない場合、それらは効果がなくなります。
二重エンコーダ教師モデルによって取得された空間幾何学的な事前知識を単一エンコーダ学生モデルに暗黙的に注入することは、あまり調査されていないとはいえ、実用的な方法です。
この文書では、このトピックを掘り下げ、知識の蒸留アプローチに頼ってこの問題に対処します。
ロジット蒸留と特徴蒸留の両方の側面で新しい貢献を備えた Learning to Infuse ‘X’ (LIX) フレームワークを紹介します。
我々は、分離された知識の蒸留において単一の固定重みを使用することの限界を強調する数学的証明を提示し、この問題の解決策としてロジット的な動的重みコントローラーを導入します。
さらに、カーネル回帰による特徴の再調整と、中心カーネルのアライメントによる詳細な特徴一貫性の定量化という 2 つの技術的新規性を含む、適応的に再調整された特徴抽出アルゴリズムを開発します。
さまざまな公開データセットにわたる中間融合および後期融合ネットワークを使用して行われた広範な実験により、定量的評価と定性的評価の両方が提供され、他の最先端のアプローチと比較した場合の LIX フレームワークの優れたパフォーマンスが実証されました。

要約(オリジナル)

Despite the impressive performance achieved by data-fusion networks with duplex encoders for visual semantic segmentation, they become ineffective when spatial geometric data are not available. Implicitly infusing the spatial geometric prior knowledge acquired by a duplex-encoder teacher model into a single-encoder student model is a practical, albeit less explored research avenue. This paper delves into this topic and resorts to knowledge distillation approaches to address this problem. We introduce the Learning to Infuse ‘X’ (LIX) framework, with novel contributions in both logit distillation and feature distillation aspects. We present a mathematical proof that underscores the limitation of using a single fixed weight in decoupled knowledge distillation and introduce a logit-wise dynamic weight controller as a solution to this issue. Furthermore, we develop an adaptively-recalibrated feature distillation algorithm, including two technical novelties: feature recalibration via kernel regression and in-depth feature consistency quantification via centered kernel alignment. Extensive experiments conducted with intermediate-fusion and late-fusion networks across various public datasets provide both quantitative and qualitative evaluations, demonstrating the superior performance of our LIX framework when compared to other state-of-the-art approaches.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google