A Large Language Model-Enhanced Q-learning for Capacitated Vehicle Routing Problem with Time Windows

要約

タイムウィンドウ（CVRPTW）を備えた容認された車両ルーティングの問題は、物流の配布と輸送管理に広く適用される古典的なNPハードの組み合わせ最適化問題です。
その複雑さは、車両の容量と時間の窓の制約に由来しており、従来のアプローチに大きな課題をもたらします。
大規模な言語モデル（LLMS）の進歩は、CVRPTWの近似ソリューションを見つけるための新しい可能性を提供します。
このペーパーでは、リアルタイムの緊急制約を伴うCVRPTWに対処するための新しいLLM強化Qラーニングフレームワークを提案します。
当社のソリューションでは、LLM誘導探査フェーズからQネットワークの自律最適化フェーズに移行する適応型2フェーズトレーニングメカニズムを導入します。
信頼性を確保するために、LLMSの考え方（COT）に基づいた3層の自己修正メカニズムを設計します：構文検証、意味的検証、および物理的制約施行。
さらに、LLMSによって生成されたエクスペリエンスのリプレイに、アーキテクチャにおけるLLMの規制役割を増幅することも優先順位を付けました。
実験結果は、私たちのフレームワークが、従来のQラーニングと比較してコストの平均コストを7.3％削減し、収束に必要なトレーニングステップが少ないことを示しています。

要約(オリジナル)

The Capacitated Vehicle Routing Problem with Time Windows (CVRPTW) is a classic NP-hard combinatorial optimization problem widely applied in logistics distribution and transportation management. Its complexity stems from the constraints of vehicle capacity and time windows, which pose significant challenges to traditional approaches. Advances in Large Language Models (LLMs) provide new possibilities for finding approximate solutions to CVRPTW. This paper proposes a novel LLM-enhanced Q-learning framework to address the CVRPTW with real-time emergency constraints. Our solution introduces an adaptive two-phase training mechanism that transitions from the LLM-guided exploration phase to the autonomous optimization phase of Q-network. To ensure reliability, we design a three-tier self-correction mechanism based on the Chain-of-Thought (CoT) for LLMs: syntactic validation, semantic verification, and physical constraint enforcement. In addition, we also prioritized replay of the experience generated by LLMs to amplify the regulatory role of LLMs in the architecture. Experimental results demonstrate that our framework achieves a 7.3\% average reduction in cost compared to traditional Q-learning, with fewer training steps required for convergence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google