Measuring Feature Dependency of Neural Networks by Collapsing Feature Dimensions in the Data Manifold

要約

この論文では、ニューラル ネットワーク モデルの特徴依存性を測定する新しい手法を紹介します。
その動機は、人間が理解できる特徴 (解剖学的形状、体積、画像テクスチャなど) からの情報を使用しているかどうかをクエリすることで、モデルをより深く理解することです。
私たちの方法は、モデルが機能に依存している場合、その機能を削除するとパフォーマンスが著しく損なわれるはずであるという原則に基づいています。
ターゲットの特徴は、その特徴に対応するデータ分布内の次元を折りたたむことによって「削除」されます。
これは、深い生成モデルによって推定されるように、データ多様体に留まりながら、特徴次元に沿ってデータ ポイントをベースライン特徴値に移動することによって実行されます。
次に、ターゲット フィーチャー ディメンションを削除して、変更したテスト データ セットでモデルのパフォーマンスがどのように変化するかを観察します。
私たちは、既知のグランド トゥルースを使用した合成画像データでトレーニングされたディープ ニューラル ネットワーク モデル、MRI と OASIS-3 データセットからの海馬セグメンテーションを使用したアルツハイマー病予測タスク、および Lizard データセットを使用した細胞核分類タスクでメソッドをテストします。

要約(オリジナル)

This paper introduces a new technique to measure the feature dependency of neural network models. The motivation is to better understand a model by querying whether it is using information from human-understandable features, e.g., anatomical shape, volume, or image texture. Our method is based on the principle that if a model is dependent on a feature, then removal of that feature should significantly harm its performance. A targeted feature is ‘removed’ by collapsing the dimension in the data distribution that corresponds to that feature. We perform this by moving data points along the feature dimension to a baseline feature value while staying on the data manifold, as estimated by a deep generative model. Then we observe how the model’s performance changes on the modified test data set, with the target feature dimension removed. We test our method on deep neural network models trained on synthetic image data with known ground truth, an Alzheimer’s disease prediction task using MRI and hippocampus segmentations from the OASIS-3 dataset, and a cell nuclei classification task using the Lizard dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google