LANCE: Stress-testing Visual Models by Generating Language-guided Counterfactual Images

要約

我々は、言語ガイド付き反事実テスト画像（LANCE）を生成することにより、訓練された視覚モデルをストレステストする自動アルゴリズムを提案します。
私たちの手法は、大規模言語モデリングとテキストベースの画像編集における最近の進歩を利用して、モデルの重みを変更することなく、多様で現実的で挑戦的なテスト画像のスイートで IID テスト セットを強化します。
生成されたデータで事前トレーニングされたモデルのさまざまなセットのパフォーマンスをベンチマークし、大幅かつ一貫したパフォーマンスの低下が観察されました。
さらに、さまざまなタイプの編集にわたるモデルの感度を分析し、ImageNet でこれまで知られていなかったクラスレベルのモデルのバイアスを明らかにする際のその適用性を実証します。

要約(オリジナル)

We propose an automated algorithm to stress-test a trained visual model by generating language-guided counterfactual test images (LANCE). Our method leverages recent progress in large language modeling and text-based image editing to augment an IID test set with a suite of diverse, realistic, and challenging test images without altering model weights. We benchmark the performance of a diverse set of pretrained models on our generated data and observe significant and consistent performance drops. We further analyze model sensitivity across different types of edits, and demonstrate its applicability at surfacing previously unknown class-level model biases in ImageNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google