Probable Domain Generalization via Quantile Risk Minimization

要約

ドメイン一般化（DG）は、複数の関連する分布またはドメインからのラベル付きトレーニングデータを活用することにより、目に見えないテスト分布で適切に機能する予測子を探します。
これを実現するために、標準の定式化では、考えられるすべてのドメインのセットで最悪の場合のパフォーマンスが最適化されます。
ただし、実際には最悪の場合のシフトはほとんど発生しないため、これは一般に過度に保守的なソリューションにつながります。
実際、最近の調査によると、平均パフォーマンスの観点から、経験的なリスク最小化を上回るDGアルゴリズムはありませんでした。
この作業では、DGは最悪の場合の問題でも平均的な場合の問題でもないが、確率的な問題であると主張します。
この目的のために、DGの確率的フレームワークを提案します。これをProbable Domain Generalizationと呼びます。ここでの重要なアイデアは、トレーニング中に見られる分布の変化が、テスト時に可能性のある変化を通知することです。
これを実現するために、トレーニングドメインとテストドメインを同じ基礎となるメタ分布から引き出すものとして明示的に関連付け、予測子が高い確率で一般化することを要求する新しい最適化問題である分位リスク最小化（QRM）を提案します。
次に、QRMが次のことを証明します。（i）十分な数のドメインとサンプルが与えられた場合、望ましい確率で新しいドメインに一般化する予測子を生成します。
（ii）一般化の望ましい確率が1に近づくと、因果予測子を回復します。
私たちの実験では、DGのより包括的な分位数に焦点を当てた評価プロトコルを紹介し、私たちのアルゴリズムが実際のデータと合成データの最先端のベースラインよりも優れていることを示しています。

要約(オリジナル)

Domain generalization (DG) seeks predictors which perform well on unseen test distributions by leveraging labeled training data from multiple related distributions or domains. To achieve this, the standard formulation optimizes for worst-case performance over the set of all possible domains. However, with worst-case shifts very unlikely in practice, this generally leads to overly-conservative solutions. In fact, a recent study found that no DG algorithm outperformed empirical risk minimization in terms of average performance. In this work, we argue that DG is neither a worst-case problem nor an average-case problem, but rather a probabilistic one. To this end, we propose a probabilistic framework for DG, which we call Probable Domain Generalization, wherein our key idea is that distribution shifts seen during training should inform us of probable shifts at test time. To realize this, we explicitly relate training and test domains as draws from the same underlying meta-distribution, and propose a new optimization problem — Quantile Risk Minimization (QRM) — which requires that predictors generalize with high probability. We then prove that QRM: (i) produces predictors that generalize to new domains with a desired probability, given sufficiently many domains and samples; and (ii) recovers the causal predictor as the desired probability of generalization approaches one. In our experiments, we introduce a more holistic quantile-focused evaluation protocol for DG, and show that our algorithms outperform state-of-the-art baselines on real and synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google