Reinforcement Learning in High-frequency Market Making

要約

この論文は、高頻度のマーケットメイクにおける強化学習 (RL) の応用のための、新しく包括的な理論分析を確立します。
私たちは、最新の RL 理論と高頻度金融経済における連続時間統計モデルの橋渡しをします。
マーケットメイク問題に対するさまざまな RL 手法の開発に関する方法論研究に関する既存の文献とは異なり、私たちの研究は理論的分析を提供するためのパイロットです。
サンプリング周波数の影響をターゲットにし、$\Delta$ が小さくなるにつれて時間増分 $\Delta$ $-$ の値を微調整すると、誤差は小さくなりますが、RL アルゴリズムの誤差と複雑さの間の興味深いトレードオフを発見しました。
複雑さはさらに大きくなります。
また、一般和ゲーム フレームワークの下で 2 人のプレイヤーの場合を研究し、ナッシュ均衡から連続時間ゲーム均衡への収束を $\Delta\rightarrow0$ として確立します。
均衡を解くために、オンライン マルチエージェント RL 手法である Nash Q 学習アルゴリズムが適用されます。
私たちの理論は、実践者がサンプリング周波数を選択するのに役立つだけでなく、非常に一般的であり、連続時間マルコフ決定プロセスの時間離散化が行われる限り、最適実行などの他の高頻度の金融意思決定問題にも適用できます。
が採用されています。
モンテカルロ シミュレーションの証拠は、私たちの理論をすべて裏付けています。

要約(オリジナル)

This paper establishes a new and comprehensive theoretical analysis for the application of reinforcement learning (RL) in high-frequency market making. We bridge the modern RL theory and the continuous-time statistical models in high-frequency financial economics. Different with most existing literature on methodological research about developing various RL methods for market making problem, our work is a pilot to provide the theoretical analysis. We target the effects of sampling frequency, and find an interesting tradeoff between error and complexity of RL algorithm when tweaking the values of the time increment $\Delta$ $-$ as $\Delta$ becomes smaller, the error will be smaller but the complexity will be larger. We also study the two-player case under the general-sum game framework and establish the convergence of Nash equilibrium to the continuous-time game equilibrium as $\Delta\rightarrow0$. The Nash Q-learning algorithm, which is an online multi-agent RL method, is applied to solve the equilibrium. Our theories are not only useful for practitioners to choose the sampling frequency, but also very general and applicable to other high-frequency financial decision making problems, e.g., optimal executions, as long as the time-discretization of a continuous-time markov decision process is adopted. Monte Carlo simulation evidence support all of our theories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google