Generalized Information Bottleneck for Gaussian Variables

要約

タイトル：ガウス変数に対する一般化された情報ボトルネック

要約：
– 情報ボトルネック（IB）法は表現学習を理解するための魅力的なフレームワークを提供しているが、計算的に扱いにくいことがある。
– IB法の解析的特性は実用上の興味に加え、学習現象の新たな洞察をもたらす可能性がある。
– ここでは、元のIB法の相互情報量の代わりにRenyiおよびJeffreys距離に基づく相関尺度が用いられる一般化IB問題を考える。
– ガウス相関変数の場合については、正確な解析IB解を導出することができた。
– 我々の解析により、元のIB法で以前観察された構造的転移と類似した一連の構造的転移が明らかになった。
– 元のIB問題、Renyi IB問題、Jeffreys IB問題を解くことが一般に異なる表現を生成するにもかかわらず、構造的転移は同じトレードオフパラメーターで発生し、RenyiとJeffreys IB解は元のIB目的においても優れた結果を示した。
– 結果から、代替相関尺度を用いてIB法を定式化することにより、元のIB問題に対する近似的な解を得るための戦略を提供できる可能性がある。

要約(オリジナル)

The information bottleneck (IB) method offers an attractive framework for understanding representation learning, however its applications are often limited by its computational intractability. Analytical characterization of the IB method is not only of practical interest, but it can also lead to new insights into learning phenomena. Here we consider a generalized IB problem, in which the mutual information in the original IB method is replaced by correlation measures based on Renyi and Jeffreys divergences. We derive an exact analytical IB solution for the case of Gaussian correlated variables. Our analysis reveals a series of structural transitions, similar to those previously observed in the original IB case. We find further that although solving the original, Renyi and Jeffreys IB problems yields different representations in general, the structural transitions occur at the same critical tradeoff parameters, and the Renyi and Jeffreys IB solutions perform well under the original IB objective. Our results suggest that formulating the IB method with alternative correlation measures could offer a strategy for obtaining an approximate solution to the original IB problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI