Data-free Dense Depth Distillation

要約

単眼深度推定 (MDE) のためのデータフリー知識蒸留 (KD) を研究します。これは、ターゲット ドメインにトレーニング データがなくても、教師と生徒のフレームワークの下でトレーニングされたエキスパート モデルから圧縮することにより、実世界の深度知覚のための軽量ネットワークを学習します。
.
密回帰と画像認識の本質的な違いにより、以前のデータフリー KD の方法は MDE には適用できません。
実世界での適用性を強化するために、この論文では、分布外のシミュレートされた画像を使用して KD を適用しようとします。
主な課題は、i) 元のトレーニング データのオブジェクト分布に関する事前情報が不足していることです。
ii) 現実世界とシミュレーションの間のドメイン シフト。
最初の困難に対処するために、オブジェクトごとの画像混合を適用して、ターゲットドメイン内のオブジェクトの分散パターンを最大限にカバーするための新しいトレーニングサンプルを生成します。
2 番目の問題に取り組むために、シミュレートされたデータを教師モデルの特徴分布に適合させることを効率的に学習する変換ネットワークを利用することを提案します。
さまざまな深度推定モデルと 2 つの異なるデータセットに対して提案されたアプローチを評価します。
その結果、私たちの方法はベースラインの KD よりも優れた性能を発揮し、1/6 ドルの画像でわずかに優れたパフォーマンスを達成し、明らかな優位性を示しています。

要約(オリジナル)

We study data-free knowledge distillation (KD) for monocular depth estimation (MDE), which learns a lightweight network for real-world depth perception by compressing from a trained expert model under the teacher-student framework while lacking training data in the target domain. Owing to the essential difference between dense regression and image recognition, previous methods of data-free KD are not applicable to MDE. To strengthen the applicability in the real world, in this paper, we seek to apply KD with out-of-distribution simulated images. The major challenges are i) lacking prior information about object distribution of the original training data; ii) the domain shift between the real world and the simulation. To cope with the first difficulty, we apply object-wise image mixing to generate new training samples for maximally covering distributed patterns of objects in the target domain. To tackle the second difficulty, we propose to utilize a transformation network that efficiently learns to fit the simulated data to the feature distribution of the teacher model. We evaluate the proposed approach for various depth estimation models and two different datasets. As a result, our method outperforms the baseline KD by a good margin and even achieves slightly better performance with as few as $1/6$ images, demonstrating a clear superiority.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google