Theoretical Guarantees of Data Augmented Last Layer Retraining Methods

要約

トレーニング データ内の多くの異なる部分母集団にわたって公平な予測を保証することは、大規模なモデルでは法外な場合があります。
最近、シンプルな線形最終層の再トレーニング戦略を、アップウェイト、ダウンサンプリング、ミックスアップなどのデータ拡張手法と組み合わせることで、最も普及していない部分母集団の精度を定量化する最悪グループ精度の最先端のパフォーマンスを達成できることが示されました。
。
最終層の線形再学習と前述の拡張については、潜在表現 (最終層への入力) の分布を部分母集団ごとにガウス分布としてモデル化するときに、最適な最悪グループ精度を提示します。
私たちは、合成データセットと大規模な公的に利用可能なデータセットの両方について結果を評価および検証します。

要約(オリジナル)

Ensuring fair predictions across many distinct subpopulations in the training data can be prohibitive for large models. Recently, simple linear last layer retraining strategies, in combination with data augmentation methods such as upweighting, downsampling and mixup, have been shown to achieve state-of-the-art performance for worst-group accuracy, which quantifies accuracy for the least prevalent subpopulation. For linear last layer retraining and the abovementioned augmentations, we present the optimal worst-group accuracy when modeling the distribution of the latent representations (input to the last layer) as Gaussian for each subpopulation. We evaluate and verify our results for both synthetic and large publicly available datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google