Graph Reinforcement Learning for Combinatorial Optimization: A Survey and Unifying Perspective

要約

グラフは、接続されたエンティティ間の関係に基づいたシステムの自然な表現です。
組み合わせ最適化問題は、離散構造上の対象プロセスに関連する目的関数を考慮するときに発生しますが、解空間が急速に拡大するため、多くの場合困難になります。
強化学習の試行錯誤パラダイムは、化学、コンピューターサイエンス、科学などのさまざまな分野でより良い意思決定戦略を発見するための、厳密アルゴリズムや（メタ）ヒューリスティックなどの従来の方法に代わる有望な代替手段として最近浮上しています。
統計。
これらの技術は著しく異なる分野で誕生したという事実にもかかわらず、重要な共通点を共有しています。
したがって、私たちはこの研究を、グラフ強化学習と呼ぶ統一的な観点で統合することに着手し、これをグラフ問題に対する建設的な意思決定方法として解釈しました。
関連する技術的背景をカバーした後、目的が対象のプロセスに応じてグラフ構造を最適化することであるか、固定されたグラフ構造の下でプロセス自体の結果を最適化することであるかの境界線に沿って作業をレビューします。
最後に、この分野が直面している共通の課題と未解決の研究課題について話し合います。
他の調査とは対照的に、本研究は、パフォーマンスの高いアルゴリズムが通常知られていない非正準グラフ問題に焦点を当てており、強化学習は効率的かつ効果的な解決策を提供できます。

要約(オリジナル)

Graphs are a natural representation for systems based on relations between connected entities. Combinatorial optimization problems, which arise when considering an objective function related to a process of interest on discrete structures, are often challenging due to the rapid growth of the solution space. The trial-and-error paradigm of Reinforcement Learning has recently emerged as a promising alternative to traditional methods, such as exact algorithms and (meta)heuristics, for discovering better decision-making strategies in a variety of disciplines including chemistry, computer science, and statistics. Despite the fact that they arose in markedly different fields, these techniques share significant commonalities. Therefore, we set out to synthesize this work in a unifying perspective that we term Graph Reinforcement Learning, interpreting it as a constructive decision-making method for graph problems. After covering the relevant technical background, we review works along the dividing line of whether the goal is to optimize graph structure given a process of interest, or to optimize the outcome of the process itself under fixed graph structure. Finally, we discuss the common challenges facing the field and open research questions. In contrast with other surveys, the present work focuses on non-canonical graph problems for which performant algorithms are typically not known and Reinforcement Learning is able to provide efficient and effective solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google