Control when confidence is costly

要約

私たちは、推論の計算コストを考慮したバージョンの確率的制御を開発します。
過去の研究では、制御を行わない効率的なコーディング、または情報合成のコストを無視した効率的な制御が特定されています。
ここでは、これらの概念をフレームワークに結合し、エージェントが効率的な制御のために推論を合理的に近似するようにします。
具体的には、世界状態に対する事後確率の相対精度に関する内部コストを追加した線形二次ガウス (LQG) 制御を研究します。
これはトレードオフを生み出します。そうすることで推論中に十分なビットを節約できる場合、エージェントはタスクのパフォーマンスの一部を犠牲にして、全体としてより多くのユーティリティを得ることができます。
私たちは、推論と制御の共同問題を解決する合理的な戦略が、タスクの要求に応じて段階遷移を経て、コストはかかるが最適な推論から、回転変換に関連する次善の推論群に切り替わり、それぞれが世界の安定性を誤って推定していることを発見しました。
すべての場合において、エージェントは考えることを減らすためにより多く動きます。
この研究は、脳と機械の両方が効率的だが計算上の制約のある制御に使用できる、新しいタイプの合理的計算の基礎を提供します。

要約(オリジナル)

We develop a version of stochastic control that accounts for computational costs of inference. Past studies identified efficient coding without control, or efficient control that neglects the cost of synthesizing information. Here we combine these concepts into a framework where agents rationally approximate inference for efficient control. Specifically, we study Linear Quadratic Gaussian (LQG) control with an added internal cost on the relative precision of the posterior probability over the world state. This creates a trade-off: an agent can obtain more utility overall by sacrificing some task performance, if doing so saves enough bits during inference. We discover that the rational strategy that solves the joint inference and control problem goes through phase transitions depending on the task demands, switching from a costly but optimal inference to a family of suboptimal inferences related by rotation transformations, each misestimate the stability of the world. In all cases, the agent moves more to think less. This work provides a foundation for a new type of rational computations that could be used by both brains and machines for efficient but computationally constrained control.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google