Dynamic Neighborhood Construction for Structured Large Discrete Action Spaces

要約

大規模な離散アクション スペース (LDAS) は、依然として強化学習における中心的な課題です。
既存のソリューション アプローチでは、最大数百万のアクションを含む非構造化 LDAS を処理できます。
しかし、物流、生産、輸送システムにおける現実世界のアプリケーションの多くには、組み合わせアクション空間があり、そのサイズは、たとえ小規模なインスタンスであっても、数百万のアクションをはるかに超えて成長します。
幸いなことに、そのようなアクション空間は、例えば等間隔に配置された個別のリソースユニットなどの構造を示します。
この研究では、現在のベンチマークでは処理できないサイズの構造化 LDAS (SLDAS) の処理に重点を置き、SLDAS の新しい活用パラダイムである Dynamic Neighborhood Construction (DNC) を提案します。
我々は、このパラダイムを利用し、最大 $10^{73}$ アクションを持つ構造化アクション空間での連続プロキシ アクションの周囲の離散近傍を効率的に探索する、スケーラブルな近傍探索ヒューリスティックを提案します。
2 つの異なる環境にわたる大規模な離散アクション スペース向けに設計された 3 つの最先端のアプローチに対してベンチマークを行うことにより、私たちの手法のパフォーマンスを実証します。
私たちの結果は、DNC が最先端のアプローチに匹敵するか、それを上回るパフォーマンスを示しながら、計算効率が高いことを示しています。
さらに、私たちの方法は、これまでのところ既存の方法論では計算的に扱いにくいアクション空間にまで拡張できます。

要約(オリジナル)

Large discrete action spaces (LDAS) remain a central challenge in reinforcement learning. Existing solution approaches can handle unstructured LDAS with up to a few million actions. However, many real-world applications in logistics, production, and transportation systems have combinatorial action spaces, whose size grows well beyond millions of actions, even on small instances. Fortunately, such action spaces exhibit structure, e.g., equally spaced discrete resource units. With this work, we focus on handling structured LDAS (SLDAS) with sizes that cannot be handled by current benchmarks: we propose Dynamic Neighborhood Construction (DNC), a novel exploitation paradigm for SLDAS. We present a scalable neighborhood exploration heuristic that utilizes this paradigm and efficiently explores the discrete neighborhood around the continuous proxy action in structured action spaces with up to $10^{73}$ actions. We demonstrate the performance of our method by benchmarking it against three state-of-the-art approaches designed for large discrete action spaces across two distinct environments. Our results show that DNC matches or outperforms state-of-the-art approaches while being computationally more efficient. Furthermore, our method scales to action spaces that so far remained computationally intractable for existing methodologies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google