Detecting Systematic Weaknesses in Vision Models along Predefined Human-Understandable Dimensions

要約

スライス発見方法（SDMS）は、DNNSの体系的な弱点を見つけるための顕著なアルゴリズムです。
彼らは、DNNアンダーテストのパフォーマンスの低いデータの頭蓋骨のコヒーレントスライス/サブセットを識別します。
直接役立つためには、スライスは、運用デザインドメイン（ODD）の一部として安全性とドメインの専門家によって定義される人間に理解しやすく関連する次元と整列する必要があります。
SDMは構造化されたデータに効果的に適用できますが、セマンティックメタデータの欠如により画像データに対するアプリケーションは複雑になります。
これらの問題に対処するために、ゼロショット画像分類の基礎モデルを組み合わせて、セマンティックメタデータと組み合わせ検索の方法を生成して、画像の体系的な弱点を見つけるアルゴリズムを提示します。
既存のアプローチとは対照的に、私たちのものは、事前に定義された人間の理解可能な寸法に沿った弱いスライスを特定します。
アルゴリズムには基礎モデルが含まれているため、その中間および最終結果が必ずしも正確ではない場合があります。
したがって、ノイズの多いメタデータの影響に対処するためのアプローチを含めます。
合成データセットと現実世界の両方のデータセットの両方でアルゴリズムを検証し、人間に理解できる体系的な弱点を回復する能力を示しています。
さらに、私たちのアプローチを使用して、複数の事前に訓練され、公的に利用可能な最先端のコンピュータービジョンDNNの体系的な弱点を特定します。

要約(オリジナル)

Slice discovery methods (SDMs) are prominent algorithms for finding systematic weaknesses in DNNs. They identify top-k semantically coherent slices/subsets of data where a DNN-under-test has low performance. For being directly useful, slices should be aligned with human-understandable and relevant dimensions, which, for example, are defined by safety and domain experts as part of the operational design domain (ODD). While SDMs can be applied effectively on structured data, their application on image data is complicated by the lack of semantic metadata. To address these issues, we present an algorithm that combines foundation models for zero-shot image classification to generate semantic metadata with methods for combinatorial search to find systematic weaknesses in images. In contrast to existing approaches, ours identifies weak slices that are in line with pre-defined human-understandable dimensions. As the algorithm includes foundation models, its intermediate and final results may not always be exact. Therefore, we include an approach to address the impact of noisy metadata. We validate our algorithm on both synthetic and real-world datasets, demonstrating its ability to recover human-understandable systematic weaknesses. Furthermore, using our approach, we identify systematic weaknesses of multiple pre-trained and publicly available state-of-the-art computer vision DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google