Probable Domain Generalization via Quantile Risk Minimization

要約

ドメイン一般化 (DG) は、関連する複数のトレーニング分布またはドメインから引き出されたデータを活用することにより、目に見えないテスト分布でうまく機能する予測子を探します。
これを達成するために、DG は通常、考えられるドメインのセットに対する平均または最悪のケースの問題として定式化されます。
ただし、平均してうまく機能する予測変数は堅牢性に欠けますが、最悪の場合にうまく機能する予測変数は過度に保守的である傾向があります。
これに対処するために、DG の新しい確率的フレームワークを提案します。ここでの目標は、高い確率でうまく機能する予測子を学習することです。
私たちの重要なアイデアは、トレーニング中に見られる分布の変化は、テスト時に可能性のある変化を通知する必要があるということです。これは、トレーニング ドメインとテスト ドメインを、同じ基礎となるメタ分布からの描画として明示的に関連付けることによって実現します。
確率的 DG を達成するために、Quantile Risk Minimization (QRM) と呼ばれる新しい最適化問題を提案します。
ドメイン全体の予測因子のリスク分布の $\alpha$ 分位数を最小化することにより、QRM は確率 $\alpha$ でうまく機能する予測因子を探します。
実際に QRM を解決するために、経験的 QRM (EQRM) アルゴリズムを提案し、次のことを証明します。(i) EQRM の一般化。
(ii) EQRM は因果的予測子を $\alpha \to 1$ として回復します。
私たちの実験では、DG のより全体的な分位点に焦点を当てた評価プロトコルを導入し、EQRM が CMNIST および WILDS と DomainBed からのいくつかのデータセットの最先端のベースラインよりも優れていることを示しています。

要約(オリジナル)

Domain generalization (DG) seeks predictors which perform well on unseen test distributions by leveraging data drawn from multiple related training distributions or domains. To achieve this, DG is commonly formulated as an average- or worst-case problem over the set of possible domains. However, predictors that perform well on average lack robustness while predictors that perform well in the worst case tend to be overly-conservative. To address this, we propose a new probabilistic framework for DG where the goal is to learn predictors that perform well with high probability. Our key idea is that distribution shifts seen during training should inform us of probable shifts at test time, which we realize by explicitly relating training and test domains as draws from the same underlying meta-distribution. To achieve probable DG, we propose a new optimization problem called Quantile Risk Minimization (QRM). By minimizing the $\alpha$-quantile of predictor’s risk distribution over domains, QRM seeks predictors that perform well with probability $\alpha$. To solve QRM in practice, we propose the Empirical QRM (EQRM) algorithm, and prove: (i) a generalization bound for EQRM; and (ii) that EQRM recovers the causal predictor as $\alpha \to 1$. In our experiments, we introduce a more holistic quantile-focused evaluation protocol for DG, and demonstrate that EQRM outperforms state-of-the-art baselines on CMNIST and several datasets from WILDS and DomainBed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google