Maximum Likelihood Estimation is All You Need for Well-Specified Covariate Shift

要約

最新の機械学習システムの主な課題は、分布外 (OOD) 一般化、つまりソース データとは分布が異なるターゲット データへの一般化を達成することです。
その重要性にもかかわらず、「OOD 一般化に最も効果的なアルゴリズムは何か」という基本的な問題は、共変量シフトの標準設定の下でも未解決のままです。
この論文は、驚くべきことに、純粋にソース データを (変更せずに) 使用する古典的な最尤推定 (MLE) が、明確に指定された設定の下で共変量シフトの最小最適性を達成することを証明することで、この基本的な疑問に対処します。
つまり、この設定 (一定の係数まで) では MLE よりも優れたパフォーマンスを発揮するアルゴリズムはなく、必要なのは MLE だけであると正当化されます。
私たちの結果は、非常に豊富なクラスのパラメトリック モデルに当てはまり、密度比に関する有界条件は必要ありません。
線形回帰、ロジスティック回帰、位相検索という 3 つの具体的な例を例にして、フレームワークの幅広い適用性を示します。
この論文は、特定のシナリオでは最大加重尤度推定器 (MWLE) が最適なミニマックスとして現れるのに対し、誤って指定された設定の下では MLE がもはや最適な選択肢ではないことを証明することで研究をさらに補足します。

要約(オリジナル)

A key challenge of modern machine learning systems is to achieve Out-of-Distribution (OOD) generalization — generalizing to target data whose distribution differs from that of source data. Despite its significant importance, the fundamental question of “what are the most effective algorithms for OOD generalization” remains open even under the standard setting of covariate shift. This paper addresses this fundamental question by proving that, surprisingly, classical Maximum Likelihood Estimation (MLE) purely using source data (without any modification) achieves the minimax optimality for covariate shift under the well-specified setting. That is, no algorithm performs better than MLE in this setting (up to a constant factor), justifying MLE is all you need. Our result holds for a very rich class of parametric models, and does not require any boundedness condition on the density ratio. We illustrate the wide applicability of our framework by instantiating it to three concrete examples — linear regression, logistic regression, and phase retrieval. This paper further complement the study by proving that, under the misspecified setting, MLE is no longer the optimal choice, whereas Maximum Weighted Likelihood Estimator (MWLE) emerges as minimax optimal in certain scenarios.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google