Discovering Bugs in Vision Models using Off-the-shelf Image Generation and Captioning

要約

現実世界の環境下でビジョン モデルの障害を自動的に検出することは、依然として未解決の課題です。
この作業は、膨大な量のデータでトレーニングされた既製の大規模な画像からテキストへ、およびテキストから画像へのモデルを活用して、そのような失敗を自動的に見つける方法を示しています。
本質的に、条件付きのテキストから画像への生成モデルを使用して、グラウンド トゥルース ラベルが与えられた大量の合成的でありながら現実的な入力を生成します。
誤分類された入力はクラスター化され、キャプション モデルを使用して各クラスターが記述されます。
各クラスターの説明は、より多くの入力を生成し、特定のクラスターが予想よりも多くの障害を引き起こすかどうかを評価するために順番に使用されます。
このパイプラインを使用して、ImageNet でトレーニングされた分類子を効果的に調べて、特定の失敗ケースを見つけ、偽の相関関係を発見できることを示します。
また、特定の分類器アーキテクチャをターゲットとする敵対的データセットを生成するアプローチを拡張できることも示しています。
この作業は、ビジョン モデルのバグを無制限に自動的に発見する大規模な生成モデルの有用性を実証する概念実証として機能します。
また、このアプローチに関連する多くの制限と落とし穴についても説明します。

要約(オリジナル)

Automatically discovering failures in vision models under real-world settings remains an open challenge. This work demonstrates how off-the-shelf, large-scale, image-to-text and text-to-image models, trained on vast amounts of data, can be leveraged to automatically find such failures. In essence, a conditional text-to-image generative model is used to generate large amounts of synthetic, yet realistic, inputs given a ground-truth label. Misclassified inputs are clustered and a captioning model is used to describe each cluster. Each cluster’s description is used in turn to generate more inputs and assess whether specific clusters induce more failures than expected. We use this pipeline to demonstrate that we can effectively interrogate classifiers trained on ImageNet to find specific failure cases and discover spurious correlations. We also show that we can scale the approach to generate adversarial datasets targeting specific classifier architectures. This work serves as a proof-of-concept demonstrating the utility of large-scale generative models to automatically discover bugs in vision models in an open-ended manner. We also describe a number of limitations and pitfalls related to this approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google