Recognizable Information Bottleneck

要約

【タイトル】認識可能情報ボトルネック
【要約】
– 情報ボトルネック(IB)は、情報圧縮によって未知のデータにも汎用化された表現を学習するが、従来のIBでは場合によっては汎化に関する限界が空虚となるため、実世界の場面での汎化保証が困難である。
– 最近のPAC-Bayes IBは情報圧縮の代わりに情報の複雑性を用いて相互情報の汎化限界とつながりを持たせているが、第二階微分の計算が高価であり、実用化が妨げられている。
– この論文では、表現の認識可能性と近年提案されたf-CMI(関数型条件付き相互情報)の汎化限界との関係を確立し、それに基づいてBregman距離下で密度比マッチングによって最適化される認識可能性評価子によって表現の認識可能性を正則化するRecognizable Information Bottleneck(RIB)を提案した。
– いくつかの一般的に使用されるデータセットでの詳細な実験により、提案手法がモデルを正則化し、汎化のギャップを推定する方法として有効であることが示された。

要約(オリジナル)

Information Bottlenecks (IBs) learn representations that generalize to unseen data by information compression. However, existing IBs are practically unable to guarantee generalization in real-world scenarios due to the vacuous generalization bound. The recent PAC-Bayes IB uses information complexity instead of information compression to establish a connection with the mutual information generalization bound. However, it requires the computation of expensive second-order curvature, which hinders its practical application. In this paper, we establish the connection between the recognizability of representations and the recent functional conditional mutual information (f-CMI) generalization bound, which is significantly easier to estimate. On this basis we propose a Recognizable Information Bottleneck (RIB) which regularizes the recognizability of representations through a recognizability critic optimized by density ratio matching under the Bregman divergence. Extensive experiments on several commonly used datasets demonstrate the effectiveness of the proposed method in regularizing the model and estimating the generalization gap.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI