Discover and Mitigate Multiple Biased Subgroups in Image Classifiers

要約

機械学習モデルは、分布内データではうまく機能しますが、トレーニング データで過小評価されている偏ったサブグループでは失敗することが多く、信頼性の高いアプリケーションのためのモデルの堅牢性が妨げられます。
このようなサブグループは、サブグループ ラベルがないため通常は不明です。
偏ったサブグループを発見することは、モデルの故障モードを理解し、モデルの堅牢性をさらに向上させる鍵となります。
サブグループ発見のこれまでの研究のほとんどは、モデルが単一の偏ったサブグループでのみパフォーマンスを下回るという暗黙の仮定を立てており、複数の偏ったサブグループが存在する実際のデータを保持しません。
この研究では、分解、解釈、軽減 (DIM) を提案します。これは、画像分類器で複数の偏ったサブグループを発見するという、より困難だがより実践的な問題に対処するための新しい方法です。
私たちのアプローチでは、画像の特徴を複数のサブグループを表す複数のコンポーネントに分解します。
この分解は、画像分類器による有用な監視に基づいた双一次次元削減法である部分最小二乗法 (PLS) によって実現されます。
さらに、視覚言語基盤モデルを使用して自然言語記述を生成することにより、各サブグループ コンポーネントの意味論的な意味を解釈します。
最後に、DIM は、データ中心の戦略とモデル中心の戦略を含む 2 つの戦略を通じて、複数の偏ったサブグループを同時に緩和します。
CIFAR-100 および Breeds データセットに関する広範な実験により、複数の偏ったサブグループの発見と軽減における DIM の有効性が実証されています。
さらに、DIM は Hard ImageNet 上の分類器の故障モードを明らかにし、画像分類器におけるモデルの偏りを理解するための幅広い適用可能性を示します。
コードは https://github.com/ZhangAIPI/DIM で入手できます。

要約(オリジナル)

Machine learning models can perform well on in-distribution data but often fail on biased subgroups that are underrepresented in the training data, hindering the robustness of models for reliable applications. Such subgroups are typically unknown due to the absence of subgroup labels. Discovering biased subgroups is the key to understanding models’ failure modes and further improving models’ robustness. Most previous works of subgroup discovery make an implicit assumption that models only underperform on a single biased subgroup, which does not hold on in-the-wild data where multiple biased subgroups exist. In this work, we propose Decomposition, Interpretation, and Mitigation (DIM), a novel method to address a more challenging but also more practical problem of discovering multiple biased subgroups in image classifiers. Our approach decomposes the image features into multiple components that represent multiple subgroups. This decomposition is achieved via a bilinear dimension reduction method, Partial Least Square (PLS), guided by useful supervision from the image classifier. We further interpret the semantic meaning of each subgroup component by generating natural language descriptions using vision-language foundation models. Finally, DIM mitigates multiple biased subgroups simultaneously via two strategies, including the data- and model-centric strategies. Extensive experiments on CIFAR-100 and Breeds datasets demonstrate the effectiveness of DIM in discovering and mitigating multiple biased subgroups. Furthermore, DIM uncovers the failure modes of the classifier on Hard ImageNet, showcasing its broader applicability to understanding model bias in image classifiers. The code is available at https://github.com/ZhangAIPI/DIM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google