Probable Domain Generalization via Quantile Risk Minimization

要約

ドメイン汎化 (DG) は、複数の関連するトレーニング分布またはドメインから抽出されたデータを活用することにより、目に見えないテスト分布で良好なパフォーマンスを発揮する予測子を探します。
これを達成するために、DG は一般的に、一連の可能なドメインにわたる平均または最悪の場合の問題として定式化されます。
ただし、平均して良好なパフォーマンスを示す予測子には堅牢性が欠けており、最悪の場合でも良好なパフォーマンスを発揮する予測子は過度に保守的になる傾向があります。
これに対処するために、私たちは DG 用の新しい確率的フレームワークを提案します。その目的は、高い確率で適切に機能する予測子を学習することです。
私たちの重要なアイデアは、トレーニング中に見られる分布の変化が、テスト時に起こり得る変化を知らせるはずであるということです。これは、同じ基礎となるメタ分布から得られるものとして、トレーニング ドメインとテスト ドメインを明示的に関連付けることによって実現されます。
確率的 DG を達成するために、Quantile Risk Minimization (QRM) と呼ばれる新しい最適化問題を提案します。
ドメイン全体にわたる予測子のリスク分散の $\alpha$ 分位数を最小化することにより、QRM は確率 $\alpha$ で良好なパフォーマンスを示す予測子を探します。
QRM を実際に解決するために、我々は経験的 QRM (EQRM) アルゴリズムを提案し、以下を提供します。(i) EQRM に限定された一般化。
(ii) EQRM が因果予測子を $\alpha \to 1$ として回復する条件。
私たちの実験では、より全体的な分位点に焦点を当てた DG 評価プロトコルを導入し、EQRM が WILDS と DomainBed のデータセットの最先端のベースラインを上回るパフォーマンスを示すことを実証します。

要約(オリジナル)

Domain generalization (DG) seeks predictors which perform well on unseen test distributions by leveraging data drawn from multiple related training distributions or domains. To achieve this, DG is commonly formulated as an average- or worst-case problem over the set of possible domains. However, predictors that perform well on average lack robustness while predictors that perform well in the worst case tend to be overly-conservative. To address this, we propose a new probabilistic framework for DG where the goal is to learn predictors that perform well with high probability. Our key idea is that distribution shifts seen during training should inform us of probable shifts at test time, which we realize by explicitly relating training and test domains as draws from the same underlying meta-distribution. To achieve probable DG, we propose a new optimization problem called Quantile Risk Minimization (QRM). By minimizing the $\alpha$-quantile of predictor’s risk distribution over domains, QRM seeks predictors that perform well with probability $\alpha$. To solve QRM in practice, we propose the Empirical QRM (EQRM) algorithm and provide: (i) a generalization bound for EQRM; and (ii) the conditions under which EQRM recovers the causal predictor as $\alpha \to 1$. In our experiments, we introduce a more holistic quantile-focused evaluation protocol for DG and demonstrate that EQRM outperforms state-of-the-art baselines on datasets from WILDS and DomainBed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google