Binarized Neural Networks Converge Toward Algorithmic Simplicity: Empirical Support for the Learning-as-Compression Hypothesis

要約

ニューラルネットワークの情報複雑さの理解と制御は、機械学習の中心的な課題であり、一般化、最適化、モデル能力に影響を与えます。
ほとんどのアプローチはエントロピーベースの損失関数と統計的メトリックに依存していますが、これらの測定値は、ネットワーク構造に埋め込まれた、より深く、因果的に関連するアルゴリズムの規則性をキャプチャできないことがよくあります。
最初のプロキシとして、二等式化されたニューラルネットワーク（BNNS）を使用して、アルゴリズム情報理論へのシフトを提案します。
アルゴリズム確率（AP）とそれが定義する普遍的な分布に基づいて、私たちのアプローチは、正式で因果的に接地されたレンズを通じて学習ダイナミクスを特徴付けます。
APに基づいたアルゴリズムの複雑さのスケーラブルな近似であるブロック分解法（BDM）を適用し、エントロピーよりもトレーニング中の構造変化をより密接に追跡し、さまざまなモデルサイズとランダム化トレーニングの実行にわたるトレーニング損失とのより強い相関を一貫して示すことを示しています。
これらの結果は、学習が構造化された規則性の進行性の内在化に対応するアルゴリズム圧縮のプロセスとしてのトレーニングの見解を支持します。
そうすることで、私たちの仕事は、学習の進行の原則的な推定を提供し、情報理論、複雑さ、計算可能性からの第一原則に基づいた、複雑さを認識した学習と正規化のフレームワークを提案します。

要約(オリジナル)

Understanding and controlling the informational complexity of neural networks is a central challenge in machine learning, with implications for generalization, optimization, and model capacity. While most approaches rely on entropy-based loss functions and statistical metrics, these measures often fail to capture deeper, causally relevant algorithmic regularities embedded in network structure. We propose a shift toward algorithmic information theory, using Binarized Neural Networks (BNNs) as a first proxy. Grounded in algorithmic probability (AP) and the universal distribution it defines, our approach characterizes learning dynamics through a formal, causally grounded lens. We apply the Block Decomposition Method (BDM) — a scalable approximation of algorithmic complexity based on AP — and demonstrate that it more closely tracks structural changes during training than entropy, consistently exhibiting stronger correlations with training loss across varying model sizes and randomized training runs. These results support the view of training as a process of algorithmic compression, where learning corresponds to the progressive internalization of structured regularities. In doing so, our work offers a principled estimate of learning progression and suggests a framework for complexity-aware learning and regularization, grounded in first principles from information theory, complexity, and computability.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google