Exploring Combinatorial Problem Solving with Large Language Models: A Case Study on the Travelling Salesman Problem Using GPT-3.5 Turbo

要約

大規模言語モデル（LLM）は、テキスト入力に基づいてテキストを生成するように設計された深層学習モデルである。研究者は、コード生成や一般的な推論など、より複雑なタスクのためにこれらのモデルを開発してきたが、LLMを組合せ問題にどのように適用できるかを検討した取り組みはほとんどない。本研究では、トラベリングセールスマン問題（TSP）を解くためのLLMの可能性を調査する。GPT-3.5ターボを利用し、ゼロショット文脈内学習、少数ショット文脈内学習、連鎖思考（CoT）など様々なアプローチを用いた実験を行った。その結果、GPT-3.5 Turboを特定の問題サイズを解くように微調整し、様々なインスタンスサイズのセットを用いてテストした。微調整されたモデルは、訓練インスタンスと同じサイズの問題で有望な性能を示し、より大きな問題にもよく汎化された。さらに、追加の訓練コストをかけずに微調整モデルの性能を向上させるため、解の質を向上させるセルフエンセンブルアプローチを採用した。

要約(オリジナル)

Large Language Models (LLMs) are deep learning models designed to generate text based on textual input. Although researchers have been developing these models for more complex tasks such as code generation and general reasoning, few efforts have explored how LLMs can be applied to combinatorial problems. In this research, we investigate the potential of LLMs to solve the Travelling Salesman Problem (TSP). Utilizing GPT-3.5 Turbo, we conducted experiments employing various approaches, including zero-shot in-context learning, few-shot in-context learning, and chain-of-thoughts (CoT). Consequently, we fine-tuned GPT-3.5 Turbo to solve a specific problem size and tested it using a set of various instance sizes. The fine-tuned models demonstrated promising performance on problems identical in size to the training instances and generalized well to larger problems. Furthermore, to improve the performance of the fine-tuned model without incurring additional training costs, we adopted a self-ensemble approach to improve the quality of the solutions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL