Local Intrinsic Dimensional Entropy

要約

タイトル：単位局所次元エントロピー

要約：

– エントロピーは、確率分布の範囲に依存し、最大エントロピーはサンプル空間の濃度に比例する。 |X | が有限の場合、これにより写像に対して不変であるなど重要な性質を満たす堅牢なエントロピー測定が得られるが、継続的な空間では（| X | =無限の場合）同じことは成り立たない。
– R と R ^ d（dはZ +）は、カントールの対応論から同じ濃度であるため、濃度に依存するエントロピー測定はデータ次元性をエンコードできない。
– 本研究では、連続空間のためのエントロピー測定の定義において、濃度と分布範囲の役割を問い、ネットワーク内で複数の変換と歪みを受ける可能性がある場合に、単位局所次元分布の平均値、ID-エントロピーを堅牢なエントロピー測定として提案する。
– ID-エントロピーは多くの望ましい性質を満たし、条件エントロピー、共同エントロピー、相互情報量のバリアントに拡張できる。
– ID-エントロピーは新しい情報瓶口原理を生み出し、因果関係との関連性も持つ。
– 深層学習の文脈では、順送型アーキテクチャに対して、ターゲット関数がLipschitz連続である場合、理論的にも実証的にも、中間層のID-エントロピーが分類機やオートエンコーダーの両方における一般化ギャップを直接制御することを示す。
– 本研究は主に、構造的なアプローチを取ることによって、本質的なデータ次元性を保持しながら、さまざまなアーキテクチャを研究するために関連性の高いエントロピー測定が連続空間に対して得られることを示す。

要約(オリジナル)

Most entropy measures depend on the spread of the probability distribution over the sample space X, and the maximum entropy achievable scales proportionately with the sample space cardinality |X|. For a finite |X|, this yields robust entropy measures which satisfy many important properties, such as invariance to bijections, while the same is not true for continuous spaces (where |X|=infinity). Furthermore, since R and R^d (d in Z+) have the same cardinality (from Cantor’s correspondence argument), cardinality-dependent entropy measures cannot encode the data dimensionality. In this work, we question the role of cardinality and distribution spread in defining entropy measures for continuous spaces, which can undergo multiple rounds of transformations and distortions, e.g., in neural networks. We find that the average value of the local intrinsic dimension of a distribution, denoted as ID-Entropy, can serve as a robust entropy measure for continuous spaces, while capturing the data dimensionality. We find that ID-Entropy satisfies many desirable properties and can be extended to conditional entropy, joint entropy and mutual-information variants. ID-Entropy also yields new information bottleneck principles and also links to causality. In the context of deep learning, for feedforward architectures, we show, theoretically and empirically, that the ID-Entropy of a hidden layer directly controls the generalization gap for both classifiers and auto-encoders, when the target function is Lipschitz continuous. Our work primarily shows that, for continuous spaces, taking a structural rather than a statistical approach yields entropy measures which preserve intrinsic data dimensionality, while being relevant for studying various architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI