Data-free Dense Depth Distillation

要約

本研究では、実世界の奥行き知覚タスクのための軽量モデルを、対象領域の学習データが不足している間に、学習済み教師モデルから圧縮して学習する、単眼奥行き推定（MDE）のためのデータフリー知識蒸留（KD）を研究している。画像分類と密回帰の本質的な違いから、これまでのデータフリーKDの手法はMDEに適用できない。本論文では、実世界のタスクへの適用性を強化するために、分布外模擬画像を用いたKDの適用を提案する。実世界の学習データにおける物体分布に関する事前情報の欠如、および、シミュレーション画像と実世界画像の間の領域シフトが主な解決すべき課題である。これらの課題に対処するため、我々は深度蒸留のためのフレームワークを提案する。このフレームワークは、ターゲット領域におけるオブジェクトの分布パターンを最大限にカバーするための新しい学習サンプルを生成し、教師モデルで保存された特徴統計量に効率的に適応させるために変換ネットワークを利用するものである。様々な深度推定モデルと2つの異なるデータセットに対する広範な実験を通して、本手法がベースラインKDを十分なマージンで上回り、さらに1/6という少ない学習画像でわずかに優れた性能を達成し、明確な優位性を示すことを明らかにする。

要約(オリジナル)

We study data-free knowledge distillation (KD) for monocular depth estimation (MDE), which learns a lightweight model for real-world depth perception tasks by compressing it from a trained teacher model while lacking training data in the target domain. Owing to the essential difference between image classification and dense regression, previous methods of data-free KD are not applicable to MDE. To strengthen its applicability in real-world tasks, in this paper, we propose to apply KD with out-of-distribution simulated images. The major challenges to be resolved are i) lacking prior information about object distribution of real-world training data, and ii) domain shift between simulated and real-world images. To cope with these difficulties, we propose a tailored framework for depth distillation. The framework generates new training samples for maximally covering distributed patterns of objects in the target domain and utilizes a transformation network to efficiently adapt them to the feature statistics preserved in the teacher model. Through extensive experiments on various depth estimation models and two different datasets, we show that our method outperforms the baseline KD by a good margin and even achieves slightly better performance with as few as 1/6 of training images, demonstrating a clear superiority.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL