Towards a More Rigorous Science of Blindspot Discovery in Image Models

要約

タイトル：画像モデルのブラインドスポット発見におけるより厳密な科学に向けて
要約：
– Blindspot Discovery Methods（BDM）と呼ばれる手法が、画像埋め込みを使用して、画像分類器が著しく低い性能を発揮する「意味的に意味のある」データのサブセットを見つけることを目的とした、多くの研究が行われている。
– しかし、既存の研究には明らかな欠陥があるため、SpotCheckと呼ばれる新しいBDM評価フレームワークを導入し、2D画像表現を使用する新しいBDMであるPlaneSpotを開発した。
– 我々は、SpotCheckを使用して、既存のBDMに比肩するBDMの性能を示す制御された実験を行い、BDMの性能に影響を与える要因（例えば、モデル内のブラインドスポットの数、ブラインドスポットを定義するために使用される特徴）を特定する。
– さらに、大規模な画像ベンチマークデータセットであるMS-COCOからの実際の画像データを使用した追加の実験を設計して、これらの結論を検証した。
– 結果として、BDMの設計と評価に関する今後の研究に向けた提言が示された。全体的に、本研究で提示された方法論と分析が、より厳密なブラインドスポット発見の科学を促進することに役立つことを期待しています。

要約(オリジナル)

A growing body of work studies Blindspot Discovery Methods (‘BDM’s): methods that use an image embedding to find semantically meaningful (i.e., united by a human-understandable concept) subsets of the data where an image classifier performs significantly worse. Motivated by observed gaps in prior work, we introduce a new framework for evaluating BDMs, SpotCheck, that uses synthetic image datasets to train models with known blindspots and a new BDM, PlaneSpot, that uses a 2D image representation. We use SpotCheck to run controlled experiments that identify factors that influence BDM performance (e.g., the number of blindspots in a model, or features used to define the blindspot) and show that PlaneSpot is competitive with and in many cases outperforms existing BDMs. Importantly, we validate these findings by designing additional experiments that use real image data from MS-COCO, a large image benchmark dataset. Our findings suggest several promising directions for future work on BDM design and evaluation. Overall, we hope that the methodology and analyses presented in this work will help facilitate a more rigorous science of blindspot discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI