H-TSP: Hierarchically Solving the Large-Scale Travelling Salesman Problem

要約

タイトル：H-TSP：大規模な巡回セールスマン問題を階層的に解決する

要約：

– H-TSPと呼ばれる階層強化学習に基づくエンドツーエンドの学習フレームワークを提案する。
– このアプローチは、上位レベルの方策が訪問するノードの小さなサブセットを選択し、下位レベルの方針が選択されたノードを入力として受け取り、既存の部分経路に接続するツアーを出力することにより、TSPの解を構築する。
– 上位レベルと下位レベルのポリシーを共同でトレーニングした後、提案されたアプローチは、時間のかかる検索手順に依存せずに、与えられたTSPインスタンスの解を直接生成できる。
– ランダムに生成されたノード数の異なるTSPインスタンスでの広範な実験を行い、提案手法の有効性を示す。
– H-TSPは、エンドツーエンドの深層強化学習手法として、最大10000ノードのTSPインスタンスにスケールする最初の方法であり、特に時間的に敏感な実用的なアプリケーションにとって有用であると考えられる。

要約(オリジナル)

We propose an end-to-end learning framework based on hierarchical reinforcement learning, called H-TSP, for addressing the large-scale Travelling Salesman Problem (TSP). The proposed H-TSP constructs a solution of a TSP instance starting from the scratch relying on two components: the upper-level policy chooses a small subset of nodes (up to 200 in our experiment) from all nodes that are to be traversed, while the lower-level policy takes the chosen nodes as input and outputs a tour connecting them to the existing partial route (initially only containing the depot). After jointly training the upper-level and lower-level policies, our approach can directly generate solutions for the given TSP instances without relying on any time-consuming search procedures. To demonstrate effectiveness of the proposed approach, we have conducted extensive experiments on randomly generated TSP instances with different numbers of nodes. We show that H-TSP can achieve comparable results (gap 3.42% vs. 7.32%) as SOTA search-based approaches, and more importantly, we reduce the time consumption up to two orders of magnitude (3.32s vs. 395.85s). To the best of our knowledge, H-TSP is the first end-to-end deep reinforcement learning approach that can scale to TSP instances of up to 10000 nodes. Although there are still gaps to SOTA results with respect to solution quality, we believe that H-TSP will be useful for practical applications, particularly those that are time-sensitive e.g., on-call routing and ride hailing service.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI