LM4OPT: Unveiling the Potential of Large Language Models in Formulating Mathematical Optimization Problems

要約

急速に発展する自然言語処理の分野において、言語記述を最適化問題の数学的定式化に変換することは困難な課題であり、ラージ・ランゲージ・モデル（LLM）に複雑な理解と処理能力を要求している。本研究では、GPT-3.5、GPT-4、Llama-2-7bを含む著名なLLMを、このタスクのゼロショットとワンショット設定で比較した。その結果、GPT-4が、特にワンショット・シナリオにおいて優れた性能を示した。この研究の中心的な部分は、Llama-2-7bのための漸進的な微調整フレームワークである「LM4OPT」の導入である。しかし、この研究により、Llama-2-7bのような小さなモデルの文脈理解能力には、大きなモデルと比較して、特に長くて複雑な入力文脈を処理する際に顕著なギャップがあることが明らかになった。NL4Optデータセットを利用した我々の実証的調査により、GPT-4は、自然言語による問題記述のみに基づいて、追加の名前付きエンティティ情報に依存することなく、F1スコア0.63を達成し、先行研究で確立されたベースライン性能を上回ることが明らかになった。GPT-3.5もこれに続き、微調整されたLlama-2-7bを上回った。これらの結果は、新しい応用分野におけるLLMの現在の能力をベンチマークするだけでなく、自然言語入力からの最適化問題の数学的定式化における将来の改良のための基礎を築くものである。

要約(オリジナル)

In the rapidly evolving field of natural language processing, the translation of linguistic descriptions into mathematical formulation of optimization problems presents a formidable challenge, demanding intricate understanding and processing capabilities from Large Language Models (LLMs). This study compares prominent LLMs, including GPT-3.5, GPT-4, and Llama-2-7b, in zero-shot and one-shot settings for this task. Our findings show GPT-4’s superior performance, particularly in the one-shot scenario. A central part of this research is the introduction of `LM4OPT,’ a progressive fine-tuning framework for Llama-2-7b that utilizes noisy embeddings and specialized datasets. However, this research highlights a notable gap in the contextual understanding capabilities of smaller models such as Llama-2-7b compared to larger counterparts, especially in processing lengthy and complex input contexts. Our empirical investigation, utilizing the NL4Opt dataset, unveils that GPT-4 surpasses the baseline performance established by previous research, achieving an F1-score of 0.63, solely based on the problem description in natural language, and without relying on any additional named entity information. GPT-3.5 follows closely, both outperforming the fine-tuned Llama-2-7b. These findings not only benchmark the current capabilities of LLMs in a novel application area but also lay the groundwork for future improvements in mathematical formulation of optimization problems from natural language input.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL