Bootstrap Generalization Ability from Loss Landscape Perspective

要約

【タイトル】ロスランドスケープアプローチによるブートストラップ汎化能力の獲得

【要約】
– ドメインジェネラリゼーション(Domain generalization)とは、学習データと異なる分布を持つ未知のテストデータに対しても汎化能力の高いモデルを構築することを目的とするもの。
– このドメインジェネラリゼーションに、ロスランドスケープ理論を導入することでアプローチを行う。
– この理論により、バックボーン、正則化、トレーニングパラダイム、学習率の4つの側面から、深層学習モデルの汎化能力をブートストラップ(再帰的に向上)することができると提唱。
– NICO++、PACS、VLCSの3つのデータセットに対して、大量の実験や可視化を行い、提唱された理論が有効であることを検証。
– また、ECCV 2022 NICO Challenge1でもこの理論を用い、ドメイン不変手法を使用しないまま、第3位を獲得した。

要約(オリジナル)

Domain generalization aims to learn a model that can generalize well on the unseen test dataset, i.e., out-of-distribution data, which has different distribution from the training dataset. To address domain generalization in computer vision, we introduce the loss landscape theory into this field. Specifically, we bootstrap the generalization ability of the deep learning model from the loss landscape perspective in four aspects, including backbone, regularization, training paradigm, and learning rate. We verify the proposed theory on the NICO++, PACS, and VLCS datasets by doing extensive ablation studies as well as visualizations. In addition, we apply this theory in the ECCV 2022 NICO Challenge1 and achieve the 3rd place without using any domain invariant methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI