Variational $f$-Divergence and Derangements for Discriminative Mutual Information Estimation

要約

相互情報量の正確な推定は、複雑なシステムの理解を可能にするため、機械学習、通信、生物学などのさまざまなアプリケーションにおいて重要なタスクです。
高次元データは、処理するデータの量と複雑なパターンの存在により、タスクを非常に困難なものにします。
相互情報量の変分下限に基づくニューラル推定器が近年注目を集めていますが、分配関数の結果として高いバイアスまたは高い分散が発生する傾向があります。
$f$-divergenceの変分表現に基づいた新しいクラスの識別相互情報量推定器を提案します。
限界トレーニング サンプルを取得するために使用される置換関数の影響を調査し、混乱に基づいた新しいアーキテクチャ ソリューションを提示します。
提案された推定量は、優れたバイアス/分散トレードオフを示すため、柔軟性があります。
参照シナリオでの実験により、私たちのアプローチが精度と複雑さの両方の点で最先端のニューラル推定器よりも優れていることが実証されました。

要約(オリジナル)

The accurate estimation of the mutual information is a crucial task in various applications, including machine learning, communications, and biology, since it enables the understanding of complex systems. High-dimensional data render the task extremely challenging due to the amount of data to be processed and the presence of convoluted patterns. Neural estimators based on variational lower bounds of the mutual information have gained attention in recent years but they are prone to either high bias or high variance as a consequence of the partition function. We propose a novel class of discriminative mutual information estimators based on the variational representation of the $f$-divergence. We investigate the impact of the permutation function used to obtain the marginal training samples and present a novel architectural solution based on derangements. The proposed estimator is flexible as it exhibits an excellent bias/variance trade-off. Experiments on reference scenarios demonstrate that our approach outperforms state-of-the-art neural estimators both in terms of accuracy and complexity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google