Mutual Information Estimation via $f$-Divergence and Data Derangements

要約

相互情報を正確に推定することは、機械学習から通信、生物学に至るまで、さまざまなアプリケーションにわたって極めて重要であり、複雑なシステムの内部メカニズムについての洞察を得ることができます。
しかし、高次元データを扱うことは、そのサイズと複雑な関係の存在により、大きな課題となります。
最近提案された、相互情報量の変分下限を使用するニューラル手法が注目を集めています。
ただし、サンプル サイズと損失関数の構造がトレーニング プロセスに直接影響するため、これらのアプローチには高いバイアスまたは高い分散が発生します。
本稿では、$f$ダイバージェンスの変分表現に基づいた新しいクラスの識別的相互情報量推定器を提案します。
限界トレーニング サンプルを取得するために使用される置換関数の影響を調査し、混乱に基づいた新しいアーキテクチャ ソリューションを提示します。
提案された推定量は、優れたバイアス/分散トレードオフを示すため、柔軟性があります。
確立された参照シナリオ内での広範な実験による最先端のニューラル推定器との比較により、私たちのアプローチがより高い精度とより低い複雑性を提供することがわかります。

要約(オリジナル)

Estimating mutual information accurately is pivotal across diverse applications, from machine learning to communications and biology, enabling us to gain insights into the inner mechanisms of complex systems. Yet, dealing with high-dimensional data presents a formidable challenge, due to its size and the presence of intricate relationships. Recently proposed neural methods employing variational lower bounds on the mutual information have gained prominence. However, these approaches suffer from either high bias or high variance, as the sample size and the structure of the loss function directly influence the training process. In this paper, we propose a novel class of discriminative mutual information estimators based on the variational representation of the $f$-divergence. We investigate the impact of the permutation function used to obtain the marginal training samples and present a novel architectural solution based on derangements. The proposed estimator is flexible since it exhibits an excellent bias/variance trade-off. The comparison with state-of-the-art neural estimators, through extensive experimentation within established reference scenarios, shows that our approach offers higher accuracy and lower complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google