Improving Stability Estimates in Adversarial Explainable AI through Alternate Search Methods

要約

機械学習モデルの有効性の進歩には、非常に複雑な代償が伴い、その結果、機械学習モデルがどのように機能するかについての理解が不十分になってきました。
これらの複雑なモデルの動作を近似するためにローカル サロゲート手法が使用されてきましたが、最近の研究では、複雑なモデルの出力の意味と構造が類似しているにもかかわらず、生成される説明が明らかに異なる場合、敵対的攻撃に対する脆弱性が明らかになりました。
この以前の研究では、これらの弱点の存在に焦点を当てていましたが、その大きさには焦点を当てていませんでした。
ここでは、実行可能な最小限の摂動、つまり元のテキストと変更されたテキストの説明の間で固定の類似度値を達成するために必要な最小限の摂動を見つけることを目的として、代替の検索方法を使用して探索します。
直観的には、特定のレベルの不安定性を明らかにするために必要な摂動が少ない方法は、より多くの摂動が必要な方法よりも劣ります。
このニュアンスにより、説明可能性手法の安定性をより優れて比較することができます。

要約(オリジナル)

Advances in the effectiveness of machine learning models have come at the cost of enormous complexity resulting in a poor understanding of how they function. Local surrogate methods have been used to approximate the workings of these complex models, but recent work has revealed their vulnerability to adversarial attacks where the explanation produced is appreciably different while the meaning and structure of the complex model’s output remains similar. This prior work has focused on the existence of these weaknesses but not on their magnitude. Here we explore using an alternate search method with the goal of finding minimum viable perturbations, the fewest perturbations necessary to achieve a fixed similarity value between the original and altered text’s explanation. Intuitively, a method that requires fewer perturbations to expose a given level of instability is inferior to one which requires more. This nuance allows for superior comparisons of the stability of explainability methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google