A robust estimator of mutual information for deep learning interpretability

要約

深層学習モデルの内部動作を解釈するために、情報理論で確立されたメトリックである相互情報量 (MI) の使用を開発します。
有限数のサンプルから MI を正確に推定するために、離散設定と連続設定の両方に適用できるガウス混合モデルに基づくアルゴリズムである GMM-MI ($“$Jimmie$’$ と発音します) を提示します。
GMM-MI は、計算効率が高く、ハイパーパラメーターの選択に対してロバストであり、有限のサンプル サイズによる MI 推定の不確実性を提供します。
グラウンド トゥルース MI がわかっているおもちゃのデータで GMM-MI を広く検証し、そのパフォーマンスを確立された相互情報量推定量と比較します。
次に、表現学習のコンテキストで MI 推定量を使用し、高度に非線形なプロセスを記述する合成データと物理データセットを操作する方法を示します。
深層学習モデルをトレーニングして、意味のある圧縮 (潜在) 表現内で高次元データをエンコードし、GMM-MI を使用して、潜在変数間のもつれの解消のレベルと、関連する物理量との関連付けの両方を定量化します。
潜在的な表現。
GMM-MI は公開されています。

要約(オリジナル)

We develop the use of mutual information (MI), a well-established metric in information theory, to interpret the inner workings of deep learning models. To accurately estimate MI from a finite number of samples, we present GMM-MI (pronounced $“$Jimmie$’$), an algorithm based on Gaussian mixture models that can be applied to both discrete and continuous settings. GMM-MI is computationally efficient, robust to the choice of hyperparameters and provides the uncertainty on the MI estimate due to the finite sample size. We extensively validate GMM-MI on toy data for which the ground truth MI is known, comparing its performance against established mutual information estimators. We then demonstrate the use of our MI estimator in the context of representation learning, working with synthetic data and physical datasets describing highly non-linear processes. We train deep learning models to encode high-dimensional data within a meaningful compressed (latent) representation, and use GMM-MI to quantify both the level of disentanglement between the latent variables, and their association with relevant physical quantities, thus unlocking the interpretability of the latent representation. We make GMM-MI publicly available.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google