Attributing Learned Concepts in Neural Networks to Training Data

要約

これまでに、深層学習モデルがデータの内部表現の一部として人間が解釈可能な特定の特徴を学習するという実質的な証拠が存在します。
正しい (または間違った) 概念を持つことは信頼できる機械学習システムにとって重要であるため、特定の層で概念を学習するために、モデルの元のトレーニング セットからのどの入力が最も重要だったかを問うのは自然なことです。
これに答えるために、データの帰属方法と、モデルによって学習された概念を調査する方法を組み合わせます。
さまざまなネットワーク層上の 2 つの概念データセットのネットワークとプローブ アンサンブルをトレーニングするには、大規模なデータ アトリビューションのために最近開発された TRAK メソッドを使用します。
収束の証拠がいくつか見つかりました。概念の上位 10,000 個の属性画像を削除してモデルを再トレーニングしても、ネットワーク内の概念の位置や概念の調査の疎性は変化しません。
これは、概念の発展に情報を与える特徴が、少数の特定の例に大きく依存するのではなく、その模範全体に拡散した形で広がり、概念形成の堅牢性を示唆していることを示唆しています。

要約(オリジナル)

By now there is substantial evidence that deep learning models learn certain human-interpretable features as part of their internal representations of data. As having the right (or wrong) concepts is critical to trustworthy machine learning systems, it is natural to ask which inputs from the model’s original training set were most important for learning a concept at a given layer. To answer this, we combine data attribution methods with methods for probing the concepts learned by a model. Training network and probe ensembles for two concept datasets on a range of network layers, we use the recently developed TRAK method for large-scale data attribution. We find some evidence for convergence, where removing the 10,000 top attributing images for a concept and retraining the model does not change the location of the concept in the network nor the probing sparsity of the concept. This suggests that rather than being highly dependent on a few specific examples, the features that inform the development of a concept are spread in a more diffuse manner across its exemplars, implying robustness in concept formation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google