Simplex Decomposition for Portfolio Allocation Constraints in Reinforcement Learning

要約

ポートフォリオ最適化タスクは、投資家の富が一連の資産に分散される一連の意思決定問題を記述します。
配分制約は、環境への懸念から特定のセクターに対するポートフォリオのエクスポージャーを制限するなどの目的を制御するために、資産の特定のサブセットへの最小または最大の投資を強制するために使用されます。
制約付き強化学習 (CRL) の方法では、割り当ての制約を考慮しながらポリシーを最適化できますが、これらの一般的な方法では次善の結果が得られることが観察されます。
この論文では、制約アクション空間を制約のない割り当て問題のセットに分解することに基づいて、割り当て制約を処理する新しいアプローチを提案します。
特に、2 つの制約がある場合についてこのアプローチを検討します。
たとえば、投資家は、化石エネルギー部門への投資を制限しながら、ポートフォリオの少なくとも一定の割合をグリーンテクノロジーに投資したいと考えるかもしれません。
タスクのアクション空間が分解されたアクション空間と同等であることを示し、分解の上に構築される新しい強化学習 (RL) アプローチ CAOSD を導入します。
現実世界の Nasdaq-100 データに対する実験的評価は、私たちのアプローチがポートフォリオ最適化のための最先端の CRL ベンチマークを常に上回っていることを示しています。

要約(オリジナル)

Portfolio optimization tasks describe sequential decision problems in which the investor’s wealth is distributed across a set of assets. Allocation constraints are used to enforce minimal or maximal investments into particular subsets of assets to control for objectives such as limiting the portfolio’s exposure to a certain sector due to environmental concerns. Although methods for constrained Reinforcement Learning (CRL) can optimize policies while considering allocation constraints, it can be observed that these general methods yield suboptimal results. In this paper, we propose a novel approach to handle allocation constraints based on a decomposition of the constraint action space into a set of unconstrained allocation problems. In particular, we examine this approach for the case of two constraints. For example, an investor may wish to invest at least a certain percentage of the portfolio into green technologies while limiting the investment in the fossil energy sector. We show that the action space of the task is equivalent to the decomposed action space, and introduce a new reinforcement learning (RL) approach CAOSD, which is built on top of the decomposition. The experimental evaluation on real-world Nasdaq-100 data demonstrates that our approach consistently outperforms state-of-the-art CRL benchmarks for portfolio optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google