Wilsonian Renormalization of Neural Network Gaussian Processes

要約

関連する情報と無関係な情報を分離することは、モデリングプロセスまたは科学的調査の鍵です。
理論物理学は、繰り込みグループ（RG）の形でこれを達成するための強力なツールを提供します。
ここでは、ガウスプロセス（GP）回帰のコンテキストでウィルソニアンRGを実行するための実用的なアプローチを示します。
GPカーネルの未解決のモードを体系的に統合し、それにより、データがIRスケールを設定するGPのRGフローを取得します。
単純な場合、これにより、尾根パラメーターの普遍的な流れが生じます。これは、非ガウスが含まれているより豊富なシナリオで入力依存になります。
分析的に扱いやすいことに加えて、このアプローチは、RGフローと学習可能なモードと学習可能なモードとの間の自然な接続を提供することにより、RGとニューラルネットワークの構造的類似性を超えています。
このようなフローを研究することで、深いニューラルネットワークでの機能学習の理解が向上し、これらのモデルの潜在的な普遍性クラスを特定できるようになります。

要約(オリジナル)

Separating relevant and irrelevant information is key to any modeling process or scientific inquiry. Theoretical physics offers a powerful tool for achieving this in the form of the renormalization group (RG). Here we demonstrate a practical approach to performing Wilsonian RG in the context of Gaussian Process (GP) Regression. We systematically integrate out the unlearnable modes of the GP kernel, thereby obtaining an RG flow of the GP in which the data sets the IR scale. In simple cases, this results in a universal flow of the ridge parameter, which becomes input-dependent in the richer scenario in which non-Gaussianities are included. In addition to being analytically tractable, this approach goes beyond structural analogies between RG and neural networks by providing a natural connection between RG flow and learnable vs. unlearnable modes. Studying such flows may improve our understanding of feature learning in deep neural networks, and enable us to identify potential universality classes in these models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google