Assessing Systematic Weaknesses of DNNs using Counterfactuals

要約

DNNのセーフティ・クリティカルなアプリケーションへの応用が進むにつれて、このようなモデルのテスト・アプローチが注目を集めている。現在の方向性は、平均的な性能値に基づく安全性の仮定を危険にさらす体系的な弱点の探索と特定です。このような弱点は、DNNが期待される平均値よりも系統的に悪い性能を示す入力空間の（意味的に首尾一貫した）部分集合や領域の形をとることがある。しかし、そのような低い性能の理由を、その部分集合を記述する特定の意味的特徴に帰着させることは自明ではない。例えば、他の（考慮されていない）属性に対するデータ内の不均一性が結果を歪めるかもしれない。しかし、すべての（利用可能な）属性とそれらの相互作用を考慮することは、しばしば計算コストが高い。反実仮想説明から着想を得て、我々は、既存のサブセットの意味帰属を検証する、すなわち、特定された属性がパフォーマンスの低下を引き起こした可能性が高いかどうかをチェックする、効果的で計算量の少ないアルゴリズムを提案する。このアプローチを、高度にアノテーションされたシミュレーションデータを用いた自律走行領域の例で実証し、セマンティックセグメンテーションモデルについて、(i)異なる歩行者資産間で性能差が存在するが、(ii)資産タイプそのものが性能低下の原因であるケースもあることを示す。

要約(オリジナル)

With the advancement of DNNs into safety-critical applications, testing approaches for such models have gained more attention. A current direction is the search for and identification of systematic weaknesses that put safety assumptions based on average performance values at risk. Such weaknesses can take on the form of (semantically coherent) subsets or areas in the input space where a DNN performs systematically worse than its expected average. However, it is non-trivial to attribute the reason for such observed low performances to the specific semantic features that describe the subset. For instance, inhomogeneities within the data w.r.t. other (non-considered) attributes might distort results. However, taking into account all (available) attributes and their interaction is often computationally highly expensive. Inspired by counterfactual explanations, we propose an effective and computationally cheap algorithm to validate the semantic attribution of existing subsets, i.e., to check whether the identified attribute is likely to have caused the degraded performance. We demonstrate this approach on an example from the autonomous driving domain using highly annotated simulated data, where we show for a semantic segmentation model that (i) performance differences among the different pedestrian assets exist, but (ii) only in some cases is the asset type itself the reason for this reduction in the performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL