Tighter Bounds on the Information Bottleneck with Application to Deep Learning

要約

ディープ ニューラル ネット (DNN) は、下流のタスク、目的関数、およびその他のパラメーターによって引き起こされる潜在表現を学習します。
学習された表現の品質は、DNN の一般化能力と、出現する潜在空間の一貫性に影響を与えます。
情報ボトルネック (IB) は、データ モデリングに仮想的に最適なフレームワークを提供しますが、多くの場合、扱いにくいものです。
最近の取り組みでは、VAE にヒントを得た変分法を適用して DNN と IB を組み合わせ、相互情報量の近似境界を推定し、その結果、敵対的攻撃に対する堅牢性が向上しました。
この研究では、IB に新しいより厳密な変分限界が導入され、以前の IB からインスピレーションを得た DNN のパフォーマンスが向上しました。
これらの進歩により、データ モデリング フレームワークとしての IB とその変分近似のケースが強​​化され、分類子 DNN の敵対的堅牢性を大幅に強化する簡単な方法が提供されます。

要約(オリジナル)

Deep Neural Nets (DNNs) learn latent representations induced by their downstream task, objective function, and other parameters. The quality of the learned representations impacts the DNN’s generalization ability and the coherence of the emerging latent space. The Information Bottleneck (IB) provides a hypothetically optimal framework for data modeling, yet it is often intractable. Recent efforts combined DNNs with the IB by applying VAE-inspired variational methods to approximate bounds on mutual information, resulting in improved robustness to adversarial attacks. This work introduces a new and tighter variational bound for the IB, improving performance of previous IB-inspired DNNs. These advancements strengthen the case for the IB and its variational approximations as a data modeling framework, and provide a simple method to significantly enhance the adversarial robustness of classifier DNNs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google