Learning in Markets with Heterogeneous Agents: Dynamics and Survival of Bayesian vs. No-Regret Learners

要約

確率的な見返りを伴う資産市場における不均一な学習エージェントのパフォーマンスを分析します。
私たちのエージェントは、富の予想される成長率を最大化することを目指していますが、これを最もよく学ぶ方法について異なる理論を持っています。
私たちは、市場のダイナミクスにおけるベイジアンとリグレットなしの学習者の比較に焦点を当てています。
正しいモデルに正の事前確率を割り当てる有限のモデルの以前のベイジアン学習者は、正しいモデルに指数関数的に収束する事後確率を持っています。
その結果、確率的プロセスの正しいモデルに従って投資するエージェントの存在下でも生き残ります。
連続体を持つベイジアンは、$ o（\ log t）/t）$の速度で正しいモデルに収束します。
オンライン学習理論は、この設定で富のログを最大化するためのノーレグレットアルゴリズムを提供し、安定した基礎となる確率プロセスを仮定することなく、最良の固定投資ルールと比較することなく、$ o（\ log t）$の最悪の後悔の境界を達成します。
この後悔は、私たちが観察しているように、ベイジアン学習者の事前のベイジアン学習者のそれと同じ大きさです。
ただし、そのような低い後悔でさえ資産市場での生存に十分ではないかもしれないことを示しています。エージェントは$ o（\ log t）$ほど後悔することがありますが、投資するエージェントと競合すると市場のダイナミクスが消えてしまう可能性があります。
正しいモデル、または有限の事前の完璧なベイジアンに対してさえ。
一方、ベイジアンの学習は脆弱であることを示していますが、リグレットの学習には環境の知識が少ないため、より堅牢であることがわかります。
リグレットのいない学習者は、有限の事前または更新ルールにも小さなエラーがあるという不完全なベイジアンを市場から追い出します。
私たちは、経済学で研究された生存の概念、消失、市場支配と後悔の枠組みの間の関係を正式に確立し、これらの理論を橋渡しします。

要約(オリジナル)

We analyze the performance of heterogeneous learning agents in asset markets with stochastic payoffs. Our agents aim to maximize the expected growth rate of their wealth but have different theories on how to learn this best. We focus on comparing Bayesian and no-regret learners in market dynamics. Bayesian learners with a prior over a finite set of models that assign positive prior probability to the correct model have posterior probabilities that converge exponentially to the correct model. Consequently, they survive even in the presence of agents who invest according to the correct model of the stochastic process. Bayesians with a continuum prior converge to the correct model at a rate of $O((\log T)/T)$. Online learning theory provides no-regret algorithms for maximizing the log of wealth in this setting, achieving a worst-case regret bound of $O(\log T)$ without assuming a steady underlying stochastic process but comparing to the best fixed investment rule. This regret, as we observe, is of the same order of magnitude as that of a Bayesian learner with a continuum prior. However, we show that even such low regret may not be sufficient for survival in asset markets: an agent can have regret as low as $O(\log T)$, but still vanish in market dynamics when competing against agents who invest according to the correct model or even against a perfect Bayesian with a finite prior. On the other hand, we show that Bayesian learning is fragile, while no-regret learning requires less knowledge of the environment and is therefore more robust. Any no-regret learner will drive out of the market an imperfect Bayesian whose finite prior or update rule has even small errors. We formally establish the relationship between notions of survival, vanishing, and market domination studied in economics and the framework of regret minimization, thus bridging these theories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google