OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?

要約

分布シフトは様々な形で現れるため、分布外（OOD）汎化は困難である。多数の学習アルゴリズムが存在し、それぞれが特定のOOD状況において性能を向上させることができる。我々は、OOD汎化の課題の多くは、適切なデータセットに適切なアルゴリズムを選択することにあると仮定する。しかし、このようなアルゴリズムの選択は、現実世界の複雑な変化の下では、しばしば捉えどころがない。本研究では、OOD汎化のためのアルゴリズム選択のタスクを定式化し、学習によってアプローチできるかどうかを調べる。我々はOOD-Chameleonと名付けた、タスクを候補アルゴリズムに対する教師あり分類として扱う解決策を提案する。我々は、多様なシフト（共変量シフト、ラベルシフト、偽相関）の種類、大きさ、組み合わせを表す、学習対象のデータセットを構築する。データセットの特徴からアルゴリズムの相対的な性能を予測するモデルを学習する。これにより、最適な学習戦略を事前に選択することができる。我々の実験によれば、制御可能で現実的な画像データからなる未知のデータセットにおいて、適応的選択は個々のアルゴリズムや単純な選択ヒューリスティックを凌駕する。モデルを検査することで、自明でないデータとアルゴリズムの相互作用を学習し、あるアルゴリズムが他のアルゴリズムを凌駕するための条件を明らかにする。これにより、(1)新しいアルゴリズムを設計する代わりに、既存のアルゴリズムを用いてOODの汎化を強化する、(2)データセットの特性に関する既存のアルゴリズムの適用可能性についての洞察を得る、という新たな道が開かれる。

要約(オリジナル)

Out-of-distribution (OOD) generalization is challenging because distribution shifts come in many forms. A multitude of learning algorithms exist and each can improve performance in specific OOD situations. We posit that much of the challenge of OOD generalization lies in choosing the right algorithm for the right dataset. However, such algorithm selection is often elusive under complex real-world shifts. In this work, we formalize the task of algorithm selection for OOD generalization and investigate whether it could be approached by learning. We propose a solution, dubbed OOD-Chameleon that treats the task as a supervised classification over candidate algorithms. We construct a dataset of datasets to learn from, which represents diverse types, magnitudes and combinations of shifts (covariate shift, label shift, spurious correlations). We train the model to predict the relative performance of algorithms given a dataset’s characteristics. This enables a priori selection of the best learning strategy, i.e. without training various models as needed with traditional model selection. Our experiments show that the adaptive selection outperforms any individual algorithm and simple selection heuristics, on unseen datasets of controllable and realistic image data. Inspecting the model shows that it learns non-trivial data/algorithms interactions, and reveals the conditions for any one algorithm to surpass another. This opens new avenues for (1) enhancing OOD generalization with existing algorithms instead of designing new ones, and (2) gaining insights into the applicability of existing algorithms with respect to datasets’ properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL