DreamTeacher: Pretraining Image Backbones with Deep Generative Models

要約

この研究では、下流の画像バックボーンを事前トレーニングするために生成ネットワークを利用する、自己教師あり特徴表現学習フレームワーク DreamTeacher を紹介します。
私たちは、トレーニングされた生成モデルから知識を抽出して、特定の知覚タスク用に適切に設計された標準的な画像バックボーンを作成することを提案します。
私たちは 2 種類の知識の蒸留を調査します: 1) ImageNet などの大規模なラベル付きデータセットでこれらのバックボーンを事前学習する代わりに、学習した生成特徴をターゲット画像バックボーンに蒸留すること、および 2) タスクヘッドを備えた生成ネットワークから取得したラベルをターゲットバックボーンのロジットに蒸留すること
。
私たちは、複数の生成モデル、高密度予測ベンチマーク、およびいくつかの事前トレーニング体制について広範な分析を実行します。
私たちは経験的に、DreamTeacher が既存の自己教師あり表現学習アプローチを全体的に大幅に上回っていることを発見しました。
DreamTeacher を使用した教師なし ImageNet 事前トレーニングは、下流データセットでの ImageNet 分類事前トレーニングに比べて大幅な改善につながり、特に生成モデルと拡散生成モデルを示し、手動アノテーションを必要とせずに大規模で多様なデータセットでの表現学習への有望なアプローチとして機能します。

要約(オリジナル)

In this work, we introduce a self-supervised feature representation learning framework DreamTeacher that utilizes generative networks for pre-training downstream image backbones. We propose to distill knowledge from a trained generative model into standard image backbones that have been well engineered for specific perception tasks. We investigate two types of knowledge distillation: 1) distilling learned generative features onto target image backbones as an alternative to pretraining these backbones on large labeled datasets such as ImageNet, and 2) distilling labels obtained from generative networks with task heads onto logits of target backbones. We perform extensive analyses on multiple generative models, dense prediction benchmarks, and several pre-training regimes. We empirically find that our DreamTeacher significantly outperforms existing self-supervised representation learning approaches across the board. Unsupervised ImageNet pre-training with DreamTeacher leads to significant improvements over ImageNet classification pre-training on downstream datasets, showcasing generative models, and diffusion generative models specifically, as a promising approach to representation learning on large, diverse datasets without requiring manual annotation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google