ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization

要約

大規模な事前トレーニングに関する最近の進歩は、事前トレーニング済みモデル (PTM) の大規模なセットを活用して、アウト オブ ディストリビューション (OoD) の一般化を改善する大きな可能性を示しています。
複数のトレーニング ドメインで微調整した後。
ただし、PTM のすべての可能な組み合わせを微調整することは計算上非常に困難であり、PTM を正確に選択するには、OoD タスクの可能なデータ分布シフトに取り組む必要があるため、PTM のズーを最大限に活用することは困難です。
この作業では、PTM のランキングと機能選択を伴うアンサンブルのパラダイムである ZooD を提案します。
提案されたメトリクスは、PTM によって抽出された特徴のクラス間識別可能性とドメイン間安定性を、leave-one-domain-out 相互検証方式で定量化することにより、PTM をランク付けします。
上位 K ランクのモデルは、ターゲット OoD タスク用に集計されます。
モデル アンサンブルによって誘発されるノイズの蓄積を避けるために、有益な特徴を選択するための効率的な変分 EM アルゴリズムを提案します。
さまざまな OoD タスクの 35 のモデルで構成される多様なモデル ズーでパラダイムを評価し、次のことを示します。
(ii) 特徴選択を伴うモデル アンサンブル後の OoD 一般化は、最先端の方法よりも優れており、最も困難なタスク DomainNet の精度は 46.5\% から 50.6\% に改善されています。
さらに、モデル動物園と OoD の一般化の研究に役立つことを期待して、7 つの OoD データセットに対する 35 の PTM の微調整結果を提供します。
コードは https://gitee.com/mindspore/models/tree/master/research/cv/zood で入手できます。

要約(オリジナル)

Recent advances on large-scale pre-training have shown great potentials of leveraging a large set of Pre-Trained Models (PTMs) for improving Out-of-Distribution (OoD) generalization, for which the goal is to perform well on possible unseen domains after fine-tuning on multiple training domains. However, maximally exploiting a zoo of PTMs is challenging since fine-tuning all possible combinations of PTMs is computationally prohibitive while accurate selection of PTMs requires tackling the possible data distribution shift for OoD tasks. In this work, we propose ZooD, a paradigm for PTMs ranking and ensemble with feature selection. Our proposed metric ranks PTMs by quantifying inter-class discriminability and inter-domain stability of the features extracted by the PTMs in a leave-one-domain-out cross-validation manner. The top-K ranked models are then aggregated for the target OoD task. To avoid accumulating noise induced by model ensemble, we propose an efficient variational EM algorithm to select informative features. We evaluate our paradigm on a diverse model zoo consisting of 35 models for various OoD tasks and demonstrate: (i) model ranking is better correlated with fine-tuning ranking than previous methods and up to 9859x faster than brute-force fine-tuning; (ii) OoD generalization after model ensemble with feature selection outperforms the state-of-the-art methods and the accuracy on most challenging task DomainNet is improved from 46.5\% to 50.6\%. Furthermore, we provide the fine-tuning results of 35 PTMs on 7 OoD datasets, hoping to help the research of model zoo and OoD generalization. Code will be available at https://gitee.com/mindspore/models/tree/master/research/cv/zood.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google