InfoBridge: Mutual Information estimation via Bridge Matching

要約

拡散ブリッジモデルは最近、生成モデリングの分野で強力なツールになりました。
この作業では、機械学習と情報理論における別の重要な問題、2つのランダム変数間の相互情報（MI）の推定に対処するために、彼らの力を活用します。
拡散橋の理論を使用することにより、従来のMI推定器に困難をもたらすデータの公平な推定器を構築できることを示します。
2つの標準MI推定ベンチマーク、つまり低次元および画像ベース、つまりタンパク質言語モデルの埋め込みでの2つの標準MI推定ベンチマーク、つまり、低次元および画像ベースのパフォーマンスを紹介します。

要約(オリジナル)

Diffusion bridge models have recently become a powerful tool in the field of generative modeling. In this work, we leverage their power to address another important problem in machine learning and information theory, the estimation of the mutual information (MI) between two random variables. We show that by using the theory of diffusion bridges, one can construct an unbiased estimator for data posing difficulties for conventional MI estimators. We showcase the performance of our estimator on two standard MI estimation benchmarks, i.e., low-dimensional and image-based, and on real-world data, i.e., protein language model embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google