BiasBed — Rigorous Texture Bias Evaluation

要約

最新の畳み込みニューラル ネットワークにおけるテクスチャ バイアスの存在が十分に文書化されているため、多くの場合、新しいドメインへの一般化をサポートするために、形状の手がかりを重視するアルゴリズムが多数作成されています。
しかし、共通のデータセット、ベンチマーク、および一般的なモデル選択戦略が欠けており、合意された厳密な評価プロトコルはありません。
このホワイト ペーパーでは、テクスチャ バイアスを減らしてネットワークをトレーニングする際の困難と制限を調査します。
特に、メソッド間の適切な評価と意味のある比較が自明ではないことも示しています。
複数のデータセットとさまざまな既存のアルゴリズムを含む、テクスチャとスタイルにバイアスをかけたトレーニングのテストベッドである BiasBed を紹介します。
一部のスタイル バイアス メソッドのかなりのトレーニング不安定性にもかかわらず、結果の重要性を測定するための厳密な仮説テストを含む広範な評価プロトコルが付属しています。
私たちの大規模な実験は、スタイル バイアス (およびそれ以上) について、慎重で統計的に確立された評価プロトコルの必要性に新たな光を当てます。
たとえば、文献で提案されている一部のアルゴリズムは、スタイル バイアスの影響を大幅に軽減していないことがわかります。
BiasBed のリリースにより、一貫性のある有意義な比較に関する共通の理解が促進され、結果として、テクスチャ バイアスのない方法の学習に向けてより迅速に進歩したいと考えています。
コードは https://github.com/D1noFuzi/BiasBed で入手できます

要約(オリジナル)

The well-documented presence of texture bias in modern convolutional neural networks has led to a plethora of algorithms that promote an emphasis on shape cues, often to support generalization to new domains. Yet, common datasets, benchmarks and general model selection strategies are missing, and there is no agreed, rigorous evaluation protocol. In this paper, we investigate difficulties and limitations when training networks with reduced texture bias. In particular, we also show that proper evaluation and meaningful comparisons between methods are not trivial. We introduce BiasBed, a testbed for texture- and style-biased training, including multiple datasets and a range of existing algorithms. It comes with an extensive evaluation protocol that includes rigorous hypothesis testing to gauge the significance of the results, despite the considerable training instability of some style bias methods. Our extensive experiments, shed new light on the need for careful, statistically founded evaluation protocols for style bias (and beyond). E.g., we find that some algorithms proposed in the literature do not significantly mitigate the impact of style bias at all. With the release of BiasBed, we hope to foster a common understanding of consistent and meaningful comparisons, and consequently faster progress towards learning methods free of texture bias. Code is available at https://github.com/D1noFuzi/BiasBed

arxiv情報

提供元, 利用サービス

arxiv.jp, Google