Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model

要約

ディープネットワークをトレーニングするには、アーキテクチャ、データの増強、最適化などに関するさまざまな設計上の決定が必要です。
この研究では、これらのトレーニングのバリエーションにより、ネットワークがデータから固有の特徴セットを学習することがわかりました。
ImageNet などの正規データセットでトレーニングされた数千のモデルで構成されるパブリック モデル ライブラリを使用すると、事前トレーニングされたモデルの任意のペアについて、一方のモデルが、全体のパフォーマンスとは無関係に、他方のモデルでは利用できない重要なデータ コンテキストを抽出することが観察されました。
事前トレーニング済みモデルの任意の組み合わせがあり、外部ランキング (データプライバシーなどによる個別のテストセットなど) がないことを前提として、パフォーマンスを低下させることなく、そのような「補完的な」知識をあるモデルから別のモデルに転送することが可能かどうかを調査します。
追加の知識がより強力なモデル、同等のパフォーマンスのモデル、またはより弱いモデルに含まれる可能性があるため、これは特に困難になります。
しかし、事前トレーニングされたモデルのペアにとらわれないシナリオでの堅牢な転送を促進することで、モデルや問題の詳細に制限を設けることなく、あらゆるモデル リポジトリから (弱い低パフォーマンスのモデルを含む) 補助的なゲインと知識の融合を解き放つことができます。
したがって、この研究は、そのような汎用的な知識伝達の実現可能性についての最初の詳細な調査を提供します。
大規模な実験を通じて、私たちはまず標準的な知識抽出手法の欠点を明らかにし、次にほぼすべての事前学習済みモデル間の転送を成功させるためのデータ分割によるより一般的な拡張を提案します。これは教師なしでも実行できることを示します。
最後に、スケーラビリティと、モデルに依存しない知識伝達の成功に対する基本的なモデル プロパティの影響の両方を評価します。

要約(オリジナル)

Training deep networks requires various design decisions regarding for instance their architecture, data augmentation, or optimization. In this work, we find these training variations to result in networks learning unique feature sets from the data. Using public model libraries comprising thousands of models trained on canonical datasets like ImageNet, we observe that for arbitrary pairings of pretrained models, one model extracts significant data context unavailable in the other — independent of overall performance. Given any arbitrary pairing of pretrained models and no external rankings (such as separate test sets, e.g. due to data privacy), we investigate if it is possible to transfer such ‘complementary’ knowledge from one model to another without performance degradation — a task made particularly difficult as additional knowledge can be contained in stronger, equiperformant or weaker models. Yet facilitating robust transfer in scenarios agnostic to pretrained model pairings would unlock auxiliary gains and knowledge fusion from any model repository without restrictions on model and problem specifics – including from weaker, lower-performance models. This work therefore provides an initial, in-depth exploration on the viability of such general-purpose knowledge transfer. Across large-scale experiments, we first reveal the shortcomings of standard knowledge distillation techniques, and then propose a much more general extension through data partitioning for successful transfer between nearly all pretrained models, which we show can also be done unsupervised. Finally, we assess both the scalability and impact of fundamental model properties on successful model-agnostic knowledge transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google