Habits and goals in synergy: a variational Bayesian framework for behavior

要約

タイトル：行動における習慣と目標：振る舞いのための変分ベイズフレームワーク

要約：
– 生物的代理人を理解するために、効率的かつ柔軟な方法でどのように行動すべきかは中心的な問題であり、知的な具体化されたAIを作成するための問題でもある。
– 行動は、報酬最大化の習慣的な行動と、柔軟性があるが遅い目的志向の行動の2つのタイプに分類されることがよく知られている。これらの行動は、従来、脳内の2つの異なるシステムによって処理されているとされてきた。
– 本研究では、変分ベイズ理論の原則に基づき、2つの行動の隙間を埋めるために、Bayesian潜在変数「意図」を導入することを提案する。
– 習慣的な行動は、意図の事前分布（目的がない）を使用して生成され、目的志向の行動は目標に基づいて考慮された意図の事後分布によって生成される。
– 提案されたフレームワークによって、2つの行動の間でスキルの共有が可能になり、予測コーディングのアイデアを活用することで、追加のトレーニングを必要とすることなく、エージェントは習慣的な行動から目的志向の行動にシームレスに一般化できる。
– 提案されたフレームワークは、習慣的な行動と目的志向の行動のより大きな統合の可能性を強調し、認知科学と具体化されたAIに対する新しい視点を提示する。

要約(オリジナル)

How to behave efficiently and flexibly is a central problem for understanding biological agents and creating intelligent embodied AI. It has been well known that behavior can be classified as two types: reward-maximizing habitual behavior, which is fast while inflexible; and goal-directed behavior, which is flexible while slow. Conventionally, habitual and goal-directed behaviors are considered handled by two distinct systems in the brain. Here, we propose to bridge the gap between the two behaviors, drawing on the principles of variational Bayesian theory. We incorporate both behaviors in one framework by introducing a Bayesian latent variable called ‘intention’. The habitual behavior is generated by using prior distribution of intention, which is goal-less; and the goal-directed behavior is generated by the posterior distribution of intention, which is conditioned on the goal. Building on this idea, we present a novel Bayesian framework for modeling behaviors. Our proposed framework enables skill sharing between the two kinds of behaviors, and by leveraging the idea of predictive coding, it enables an agent to seamlessly generalize from habitual to goal-directed behavior without requiring additional training. The proposed framework suggests a fresh perspective for cognitive science and embodied AI, highlighting the potential for greater integration between habitual and goal-directed behaviors.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI