A Neural Difference-of-Entropies Estimator for Mutual Information

要約

特定のモデリング仮定のないランダム量の依存性の重要な尺度である相互情報（MI）の推定は、高次元での困難な問題です。
正規化フローを使用したパラメーター化条件密度に基づいた新しい相互情報推定器を提案します。これは、近年人気を博している深い生成モデルです。
この推定器は、ブロックの自己回帰構造を活用して、標準ベンチマークタスクでのバイアス分散トレードオフの改善を実現します。

要約(オリジナル)

Estimating Mutual Information (MI), a key measure of dependence of random quantities without specific modelling assumptions, is a challenging problem in high dimensions. We propose a novel mutual information estimator based on parametrizing conditional densities using normalizing flows, a deep generative model that has gained popularity in recent years. This estimator leverages a block autoregressive structure to achieve improved bias-variance trade-offs on standard benchmark tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google