Revisiting the Fragility of Influence Functions

要約

【タイトル】Influence Functionsの脆弱性を再考する

【要約】
-ディープラーニングモデルの予測を説明するための多くの試みがある
-これらの説明の正確性や忠実さを検証するための方法は提案されていない
-influence functionsは、一つの訓練データを除いた場合の損失関数への影響を近似する方法で、最近脆弱であることが示されてきた
-脆弱性の原因として不明な点が残っている。
-以前の研究は、正則化を使用して安定性を高めることを示唆しているが、すべての場合で成立するわけではない。
-本研究では、influence functions脆弱性についての実験を調査し、その根本的なメカニズムを理解しようとしている。
-まず、influence functionの凸性仮定が満たされている条件下で、文献に基づく手順を使用してテストする。
-次に、これらの仮定を緩和し、より深いモデルと複雑なデータセットを使用して非凸性の影響を研究する。
-ここでは、influence functionsを検証するために使用される主要な指標や手順を分析する。
-結果は、検証手順が観測された脆弱性の原因である可能性があることを示唆している。

要約(オリジナル)

In the last few years, many works have tried to explain the predictions of deep learning models. Few methods, however, have been proposed to verify the accuracy or faithfulness of these explanations. Recently, influence functions, which is a method that approximates the effect that leave-one-out training has on the loss function, has been shown to be fragile. The proposed reason for their fragility remains unclear. Although previous work suggests the use of regularization to increase robustness, this does not hold in all cases. In this work, we seek to investigate the experiments performed in the prior work in an effort to understand the underlying mechanisms of influence function fragility. First, we verify influence functions using procedures from the literature under conditions where the convexity assumptions of influence functions are met. Then, we relax these assumptions and study the effects of non-convexity by using deeper models and more complex datasets. Here, we analyze the key metrics and procedures that are used to validate influence functions. Our results indicate that the validation procedures may cause the observed fragility.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI