ForAug: Recombining Foregrounds and Backgrounds to Improve Vision Transformer Training with Bias Mitigation

要約

トランス、特にビジョントランス（VITS）は、大規模な画像分類で最先端のパフォーマンスを達成しています。
ただし、多くの場合、大量のデータが必要であり、堅牢性と一般化可能性を制限するバイアスを示すことができます。
このペーパーでは、これらの課題に対処し、一般にニューラルネットワークアーキテクチャの一部である誘導バイアスをトレーニングデータに明示的に含む、新しいデータ増強スキームであるForaugを紹介します。
FORAUGは、前処理された基礎モデルを使用して、さまざまな背景を持つ前景オブジェクトを分離および再結合することにより構築され、トレーニング中の画像構成を細かく制御できるようにします。
したがって、データの多様性と効果的なトレーニングサンプル数が増加します。
ImagenetへのForaugの適用であるFornetに関するトレーニングにより、Imagenetで最大4.5パーセントポイント（p.p.）、7.3 p.p.
ダウンストリームタスク。
重要なことに、FORAUGは、モデルの動作を分析し、バイアスを定量化する新しい方法を可能にします。
つまり、バックグラウンドの堅牢性、前景焦点、センターバイアス、サイズバイアスのメトリックを導入し、FornetのトレーニングがImagenetのトレーニングと比較してこれらのバイアスを大幅に削減することを示します。
要約すると、FORAUGはバイアスを分析および緩和するための貴重なツールを提供し、より堅牢で信頼性の高いコンピュータービジョンモデルの開発を可能にします。
コードとデータセットは、https://github.com/tobna/foraugで公開されています。

要約(オリジナル)

Transformers, particularly Vision Transformers (ViTs), have achieved state-of-the-art performance in large-scale image classification. However, they often require large amounts of data and can exhibit biases that limit their robustness and generalizability. This paper introduces ForAug, a novel data augmentation scheme that addresses these challenges and explicitly includes inductive biases, which commonly are part of the neural network architecture, into the training data. ForAug is constructed by using pretrained foundation models to separate and recombine foreground objects with different backgrounds, enabling fine-grained control over image composition during training. It thus increases the data diversity and effective number of training samples. We demonstrate that training on ForNet, the application of ForAug to ImageNet, significantly improves the accuracy of ViTs and other architectures by up to 4.5 percentage points (p.p.) on ImageNet and 7.3 p.p. on downstream tasks. Importantly, ForAug enables novel ways of analyzing model behavior and quantifying biases. Namely, we introduce metrics for background robustness, foreground focus, center bias, and size bias and show that training on ForNet substantially reduces these biases compared to training on ImageNet. In summary, ForAug provides a valuable tool for analyzing and mitigating biases, enabling the development of more robust and reliable computer vision models. Our code and dataset are publicly available at https://github.com/tobna/ForAug.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google