The Work Capacity of Channels with Memory: Maximum Extractable Work in Percept-Action Loops

要約

将来の観察を予測することは、機械学習、生物学、経済学、および他の多くの分野で中心的な役割を果たします。
それは、変分自由エネルギーの原則などの組織原則の中心にあり、順次情報処理の基本的なエネルギー制限に到達するために必要であることが示されています – 熱力学の第2の法則に基づいています。
予測パラダイムの有用性は議論の余地のない、環境と相互作用する複雑な適応システムは、単なる予測機以上のものです。彼らは環境に基づいて行動し、変化を引き起こす力を持っています。
この作業では、プロセプションアクションループ（エージェントと環境の相互作用のモデル）での情報処理の熱力学を分析するフレームワークを開発し、アクションと知覚の熱力学的意味を平等なフーティングに調査することができます。
この目的のために、作業能力の概念を紹介します。エージェントが環境から作業を抽出することを期待できる最大レートです。
我々の結果は、仕事効率の高いエージェントの以前に確立された2つの設計原則のいずれも、予測力を最大化し、過去の行動を忘れる – は、アクションが観察可能な結果を​​もたらす環境で最適であり続けていることを明らかにしています。
代わりに、トレードオフが出現します。仕事効率の良いエージェントは、過去の行動を覚えておくと利用可能な自由エネルギーを減らすことができるため、予測と忘却のバランスをとる必要があります。
これは、受動的観察の熱力学からの根本的な逸脱を強調し、アクティブな学習システムで予測とエネルギー効率が対立している可能性があることを示唆しています。

要約(オリジナル)

Predicting future observations plays a central role in machine learning, biology, economics, and many other fields. It lies at the heart of organizational principles such as the variational free energy principle and has even been shown — based on the second law of thermodynamics — to be necessary for reaching the fundamental energetic limits of sequential information processing. While the usefulness of the predictive paradigm is undisputed, complex adaptive systems that interact with their environment are more than just predictive machines: they have the power to act upon their environment and cause change. In this work, we develop a framework to analyze the thermodynamics of information processing in percept-action loops — a model of agent-environment interaction — allowing us to investigate the thermodynamic implications of actions and percepts on equal footing. To this end, we introduce the concept of work capacity — the maximum rate at which an agent can expect to extract work from its environment. Our results reveal that neither of two previously established design principles for work-efficient agents — maximizing predictive power and forgetting past actions — remains optimal in environments where actions have observable consequences. Instead, a trade-off emerges: work-efficient agents must balance prediction and forgetting, as remembering past actions can reduce the available free energy. This highlights a fundamental departure from the thermodynamics of passive observation, suggesting that prediction and energy efficiency may be at odds in active learning systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google