Exploring Action-Centric Representations Through the Lens of Rate-Distortion Theory

要約

生物は、適応行動に関連する環境内の情報を追跡し続けなければなりません。
高次元環境に住む限られたリソースのエージェントにとって、経済的かつ効率的な方法で情報を送信することが重要になります。
効率的コーディング仮説は、生物は効率的な方法で感覚入力に関する情報を最大化しようとしていると主張します。
ベイズ推論では、これは、脳の役割は、感覚データを引き起こす隠れた状態について予測するためにリソースを効率的に割り当てることであることを意味します。
しかし、これらのフレームワークはいずれも、知覚システムの行動指向の役割を無視して、その情報が下流でどのように悪用されるかを説明していません。
制約の下での最適な非可逆圧縮を定義するレート歪み理論は、目標指向の効率的なコーディングを探求するための正式なフレームワークとして注目を集めています。
この研究では、レート歪み理論の文脈でアクション中心の表現を探求します。
また、抽象化の数学的定義も提供し、関連する詳細の要約として、アクション中心の表現の内容を修正するために使用できると主張します。
私たちは、VAE を使用してアクション中心の表現をモデル化し、そのような表現が i) データの効率的な非可逆圧縮であることを発見しました。
ii) 成功した動作を達成するために必要なタスク依存の不変性を捕捉する。
iii) データの再構築を行っていない。
したがって、知覚に対する目的論的アプローチと一致して、最適な動作を達成するためにデータの完全な再構成が必要になることはほとんどないと結論付けます。

要約(オリジナル)

Organisms have to keep track of the information in the environment that is relevant for adaptive behaviour. Transmitting information in an economical and efficient way becomes crucial for limited-resourced agents living in high-dimensional environments. The efficient coding hypothesis claims that organisms seek to maximize the information about the sensory input in an efficient manner. Under Bayesian inference, this means that the role of the brain is to efficiently allocate resources in order to make predictions about the hidden states that cause sensory data. However, neither of those frameworks accounts for how that information is exploited downstream, leaving aside the action-oriented role of the perceptual system. Rate-distortion theory, which defines optimal lossy compression under constraints, has gained attention as a formal framework to explore goal-oriented efficient coding. In this work, we explore action-centric representations in the context of rate-distortion theory. We also provide a mathematical definition of abstractions and we argue that, as a summary of the relevant details, they can be used to fix the content of action-centric representations. We model action-centric representations using VAEs and we find that such representations i) are efficient lossy compressions of the data; ii) capture the task-dependent invariances necessary to achieve successful behaviour; and iii) are not in service of reconstructing the data. Thus, we conclude that full reconstruction of the data is rarely needed to achieve optimal behaviour, consistent with a teleological approach to perception.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google