Stochastic Thermodynamics of Learning Parametric Probabilistic Models

要約

私たちは、機械学習の問題群をパラメトリック確率モデル (PPM) の時間発展として定式化し、本質的に熱力学プロセスを表現しました。
私たちの主な動機は、情報の熱力学の豊富なツールボックスを活用して、確率モデルの学習の情報理論的な内容を評価することです。
まず、PPM の学習プロセス中の情報の流れを追跡する、記憶情報 (M-info) と学習情報 (L-info) という 2 つの情報理論メトリクスを紹介します。
次に、学習プロセス中の L 情報の蓄積がエントロピー生成に関連しており、パラメーターがこのプロセスで熱の貯蔵庫として機能し、学習された情報を M 情報の形式でキャプチャすることを示します。

要約(オリジナル)

We have formulated a family of machine learning problems as the time evolution of Parametric Probabilistic Models (PPMs), inherently rendering a thermodynamic process. Our primary motivation is to leverage the rich toolbox of thermodynamics of information to assess the information-theoretic content of learning a probabilistic model. We first introduce two information-theoretic metrics: Memorized-information (M-info) and Learned-information (L-info), which trace the flow of information during the learning process of PPMs. Then, we demonstrate that the accumulation of L-info during the learning process is associated with entropy production, and parameters serve as a heat reservoir in this process, capturing learned information in the form of M-info.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google