Boosting Test Performance with Importance Sampling–a Subpopulation Perspective

要約

経験的リスク最小化 (ERM) は機械学習コミュニティで広く適用されていますが、そのパフォーマンスは、隠れた属性によって導入された偽の相関または部分母集団を含むデータに対して制限されます。
既存の文献では、そのような相関が存在する場合に、平均精度が低下するという犠牲を払って、グループのバランスが取れた精度または最悪のグループの精度を最大化する手法が提案されています。
さらに、既存の研究の多くは、これらの手法間の固有の関係を明らかにせずに、さまざまな部分母集団手法に関する調査を実施しているため、この分野における技術の進歩を妨げる可能性があります。
この論文では、部分母集団問題を解決するためのシンプルかつ強力なツールとして重要なサンプリングを特定します。
理論面では、部分母集団問題の新しい体系的な定式化を提供し、既存の研究では明確に述べられていない仮定を明確に特定します。
これは、平均精度が低下した原因を解明するのに役立ちます。
既存のメソッドの接続に関する最初の理論的な議論を提供し、それらを異なるものにするコアコンポーネントを明らかにします。
アプリケーション側では、部分母集団の問題を解決するには単一の推定器で十分であることを示します。
特に、部分母集団設定における属性が既知のシナリオと未知のシナリオの両方に推定器を導入し、実際のユースケースでの柔軟性を提供します。
そして経験的に、一般的に使用されるベンチマーク データセットで最先端のパフォーマンスを達成します。

要約(オリジナル)

Despite empirical risk minimization (ERM) is widely applied in the machine learning community, its performance is limited on data with spurious correlation or subpopulation that is introduced by hidden attributes. Existing literature proposed techniques to maximize group-balanced or worst-group accuracy when such correlation presents, yet, at the cost of lower average accuracy. In addition, many existing works conduct surveys on different subpopulation methods without revealing the inherent connection between these methods, which could hinder the technology advancement in this area. In this paper, we identify important sampling as a simple yet powerful tool for solving the subpopulation problem. On the theory side, we provide a new systematic formulation of the subpopulation problem and explicitly identify the assumptions that are not clearly stated in the existing works. This helps to uncover the cause of the dropped average accuracy. We provide the first theoretical discussion on the connections of existing methods, revealing the core components that make them different. On the application side, we demonstrate a single estimator is enough to solve the subpopulation problem. In particular, we introduce the estimator in both attribute-known and -unknown scenarios in the subpopulation setup, offering flexibility in practical use cases. And empirically, we achieve state-of-the-art performance on commonly used benchmark datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google