To Stay or Not to Stay in the Pre-train Basin: Insights on Ensembling in Transfer Learning

要約

伝達学習とアンサンブルは、ニューラルネットワークの性能と頑健性を向上させるための2つの一般的な手法である。事前学習のコストが高いため、実際には、1つの事前学習済みチェックポイントから微調整されたモデルのアンサンブルを使用することが多い。このようなモデルは、損失ランドスケープの同じ流域で終わってしまうため、多様性に乏しい。本研究では、単一の事前訓練チェックポイントから訓練されたアンサンブルを、事前訓練盆地またはその外側の近傍をより良く探索することによって改善することが可能かどうかを研究する。その結果、訓練前流域の探索はアンサンブルにとって有益であるが、流域を離れると、転移学習の利点が失われ、アンサンブルの品質が低下することがわかった。

要約(オリジナル)

Transfer learning and ensembling are two popular techniques for improving the performance and robustness of neural networks. Due to the high cost of pre-training, ensembles of models fine-tuned from a single pre-trained checkpoint are often used in practice. Such models end up in the same basin of the loss landscape and thus have limited diversity. In this work, we study if it is possible to improve ensembles trained from a single pre-trained checkpoint by better exploring the pre-train basin or a close vicinity outside of it. We show that while exploration of the pre-train basin may be beneficial for the ensemble, leaving the basin results in losing the benefits of transfer learning and degradation of the ensemble quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL