If your data distribution shifts, use self-learning

要約

私たちは、エントロピー最小化や擬似ラベル付けなどの自己学習手法が、体系的なドメイン シフトの下で展開されたコンピューター ビジョン モデルのパフォーマンスを向上させるのに簡単かつ効果的であることを実証します。
私たちは広範囲にわたる大規模実験を実施し、モデル アーキテクチャ、事前トレーニング手法、分布シフトの種類に関係なく、一貫した改善を示しています。
同時に、自己学習は元のトレーニング データやスキームへの知識やアクセスを必要とせず、ハイパーパラメータの選択に対して堅牢で、実装が簡単で、必要な適応エポックがわずかであるため、実際に使用するのが簡単です。
このため、現実世界で機械学習アルゴリズムを適用する実践者にとって、自己学習手法は非常に魅力的なものになります。
CIFAR10-C (誤差 8.5%)、ImageNet-C (mCE 22.0%)、ImageNet-R (誤差 17.4%)、および ImageNet-A (誤差 14.8%) に関する理論的研究による最先端の適応結果を紹介します。
自己教師あり適応法のダイナミクスを解明し、適応があっても困難な新しい分類データセット (ImageNet-D) を提案します。

要約(オリジナル)

We demonstrate that self-learning techniques like entropy minimization and pseudo-labeling are simple and effective at improving performance of a deployed computer vision model under systematic domain shifts. We conduct a wide range of large-scale experiments and show consistent improvements irrespective of the model architecture, the pre-training technique or the type of distribution shift. At the same time, self-learning is simple to use in practice because it does not require knowledge or access to the original training data or scheme, is robust to hyperparameter choices, is straight-forward to implement and requires only a few adaptation epochs. This makes self-learning techniques highly attractive for any practitioner who applies machine learning algorithms in the real world. We present state-of-the-art adaptation results on CIFAR10-C (8.5% error), ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error), theoretically study the dynamics of self-supervised adaptation methods and propose a new classification dataset (ImageNet-D) which is challenging even with adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google