RealPatch: A Statistical Matching Framework for Model Patching with Real Samples

要約

機械学習分類器は、通常、データセット全体の平均誤差を最小にするように学習される。残念ながら、実際には、このプロセスは、学習データ内のサブグループの不均衡によって引き起こされる偽の相関を利用することが多く、結果として、平均性能は高いが、サブグループ間で性能が大きく変動することになります。この問題に対処するための最近の研究は、CAMELを用いたモデルパッチを提案している。この従来のアプローチは、クラス内サブグループ間のデータ補強を行うために生成的敵対ネットワークを用いており、（a）計算コストのかかる多数のモデルの学習と、（b）与えられたドメインに対するモデルの合成出力の十分な品質が必要であった。本研究では、統計的マッチングに基づく、よりシンプルで高速、かつデータ効率の良いデータ補強のためのフレームワークであるRealPatchを提案する。本フレームワークは、データセットを実サンプルで補強することでモデルパッチを行い、ターゲットタスクのための生成モデルを学習する必要性を軽減する。我々は、CelebA、Waterbirds、iWildCamのサブセットという3つのベンチマークデータセットでリアルパッチの有効性を示し、最悪の場合のサブグループ性能と二値分類におけるサブグループ性能差の改善を示す。さらに、CAMELのような生成モデルベースのパッチが実用的でない設定である211クラスのimSituデータセットでの実験も実施した。その結果、RealPatchは、モデルの漏洩を抑えつつ、高い実用性を維持しつつ、データセットの漏洩をうまく排除できることがわかった。RealPatchのコードは https://github.com/wearepal/RealPatch で見ることができます。

要約(オリジナル)

Machine learning classifiers are typically trained to minimise the average error across a dataset. Unfortunately, in practice, this process often exploits spurious correlations caused by subgroup imbalance within the training data, resulting in high average performance but highly variable performance across subgroups. Recent work to address this problem proposes model patching with CAMEL. This previous approach uses generative adversarial networks to perform intra-class inter-subgroup data augmentations, requiring (a) the training of a number of computationally expensive models and (b) sufficient quality of model’s synthetic outputs for the given domain. In this work, we propose RealPatch, a framework for simpler, faster, and more data-efficient data augmentation based on statistical matching. Our framework performs model patching by augmenting a dataset with real samples, mitigating the need to train generative models for the target task. We demonstrate the effectiveness of RealPatch on three benchmark datasets, CelebA, Waterbirds and a subset of iWildCam, showing improvements in worst-case subgroup performance and in subgroup performance gap in binary classification. Furthermore, we conduct experiments with the imSitu dataset with 211 classes, a setting where generative model-based patching such as CAMEL is impractical. We show that RealPatch can successfully eliminate dataset leakage while reducing model leakage and maintaining high utility. The code for RealPatch can be found at https://github.com/wearepal/RealPatch.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL