If your data distribution shifts, use self-learning

要約

エントロピー最小化や疑似ラベリングなどの自己学習手法が、体系的なドメイン シフトの下で展開されたコンピューター ビジョン モデルのパフォーマンスを改善するのにシンプルで効果的であることを示します。
幅広い大規模な実験を実施し、モデル アーキテクチャ、事前トレーニング手法、または分布シフトのタイプに関係なく、一貫した改善を示しています。
同時に、自己学習は、元のトレーニング データやスキームへの知識やアクセスを必要とせず、ハイパーパラメーターの選択に対して堅牢であり、実装が簡単で、わずかな適応エポックしか必要としないため、実際に使用するのは簡単です。
これにより、実世界で機械学習アルゴリズムを適用する実践者にとって、自己学習手法は非常に魅力的になります。
CIFAR10-C (8.5% エラー)、ImageNet-C (22.0% mCE)、ImageNet-R (17.4% エラー)、および ImageNet-A (14.8% エラー) で最先端の適応結果を提示し、理論的に研究します。
自己教師あり適応法のダイナミクスを研究し、適応があっても挑戦的な新しい分類データセット (ImageNet-D) を提案します。

要約(オリジナル)

We demonstrate that self-learning techniques like entropy minimization and pseudo-labeling are simple and effective at improving performance of a deployed computer vision model under systematic domain shifts. We conduct a wide range of large-scale experiments and show consistent improvements irrespective of the model architecture, the pre-training technique or the type of distribution shift. At the same time, self-learning is simple to use in practice because it does not require knowledge or access to the original training data or scheme, is robust to hyperparameter choices, is straight-forward to implement and requires only a few adaptation epochs. This makes self-learning techniques highly attractive for any practitioner who applies machine learning algorithms in the real world. We present state-of-the-art adaptation results on CIFAR10-C (8.5% error), ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error), theoretically study the dynamics of self-supervised adaptation methods and propose a new classification dataset (ImageNet-D) which is challenging even with adaptation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google