Equivariance and Invariance Inductive Bias for Learning from Insufficient Data

要約

外部で事前にトレーニングされたチェックポイントを必要とせずに、不十分なデータから堅牢なモデルを学習することに関心があります。
まず、十分なデータと比較して、データが不十分なために、通常はテストとは異なる限られたトレーニング環境にモデルがバイアスされやすくなる理由を示します。
たとえば、すべてのトレーニング白鳥のサンプルが「白」である場合、モデルは「白」環境を誤って使用して、固有のクラスの白鳥を表す可能性があります。
次に、同変誘導バイアスがクラス機能を保持できる一方で、不変誘導バイアスが環境機能を削除し、テストでの環境変化に一般化するクラス機能を残すことができることを正当化します。
それらを学習に課すために、同変性のために、既製の対比ベースの自己教師あり特徴学習法を展開できることを示します。
不変性については、従来のIRMで環境アノテーションが欠落しているという課題に効率的に取り組むクラスごとの不変リスク最小化（IRM）を提案します。
実世界のベンチマーク（VIPriors、ImageNet100、NICO）での最先端の実験結果は、データ効率の高い学習における同変と不変性の大きな可能性を検証します。
コードはhttps://github.com/Wangt-CN/EqInvで入手できます。

要約(オリジナル)

We are interested in learning robust models from insufficient data, without the need for any externally pre-trained checkpoints. First, compared to sufficient data, we show why insufficient data renders the model more easily biased to the limited training environments that are usually different from testing. For example, if all the training swan samples are ‘white’, the model may wrongly use the ‘white’ environment to represent the intrinsic class swan. Then, we justify that equivariance inductive bias can retain the class feature while invariance inductive bias can remove the environmental feature, leaving the class feature that generalizes to any environmental changes in testing. To impose them on learning, for equivariance, we demonstrate that any off-the-shelf contrastive-based self-supervised feature learning method can be deployed; for invariance, we propose a class-wise invariant risk minimization (IRM) that efficiently tackles the challenge of missing environmental annotation in conventional IRM. State-of-the-art experimental results on real-world benchmarks (VIPriors, ImageNet100 and NICO) validate the great potential of equivariance and invariance in data-efficient learning. The code is available at https://github.com/Wangt-CN/EqInv

arxiv情報

提供元, 利用サービス

arxiv.jp, Google