ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling

要約

最適化のモデリングと解決は、現実世界の問題に対処するオペレーション リサーチ (OR) ツールの適用において重要な役割を果たしますが、課題があり、OR 専門家の広範な専門知識が必要です。
大規模言語モデル (LLM) の出現により、これらのタスクを合理化および自動化する新たな機会が生まれました。
ただし、現在の研究は主に GPT-4 などのクローズドソース LLM と、広範なプロンプト エンジニアリング技術に依存しています。
この依存は、最適化モデリング用の高品質のトレーニング データセットが不足していることに起因しており、その結果、コストの上昇、処理時間の延長、プライバシーへの懸念が生じています。
これらの課題に対処するために、私たちの研究は、最適化モデリングとソルバー コードの開発および実行が可能なオープンソース LLM をトレーニングするための実行可能な道を初めて提案し、最終的には最適化モデリングと解決を自動化する優れた能力につながります。
特に、最適化モデリングの問題のために設計された OR-Instruct という半自動データ合成フレームワークを紹介します。
このフレームワークは、大規模モデルのトレーニング データ要件と最適化モデリング問題の固有の特性を統合し、特定のシナリオまたはモデリング タイプに合わせたカスタマイズ可能な機能強化を可能にします。
私たちが提案するフレームワークのパフォーマンスを評価するために、実際の OR 問題を解決する際の LLM を評価するための最初の業界標準である IndustryOR ベンチマークを紹介します。
OR-Instruct を通じて合成されたデータを利用して、70 億パラメータの容量を持つさまざまなオープンソース LLM (ORLM と呼ばれます) をトレーニングします。
結果として得られるモデルは、大幅に強化された最適化モデリング機能を実証し、NL4OPT、MAMO、および IndustryOR ベンチマーク全体で最先端のパフォーマンスを実現します。
コードとデータは \url{https://github.com/Cardinal-Operations/ORLM} で入手できます。

要約(オリジナル)

Optimization modeling and solving play a critical role in the application of Operations Research (OR) tools to address real-world problems, yet they pose challenges and require extensive expertise from OR experts. With the advent of large language models (LLMs), new opportunities have emerged to streamline and automate these tasks. However, current research predominantly relies on closed-source LLMs such as GPT-4, along with extensive prompt engineering techniques. This reliance stems from the scarcity of high-quality training datasets for optimization modeling, resulting in elevated costs, prolonged processing times, and privacy concerns. To address these challenges, our work is the first to propose a viable path for training open-source LLMs that are capable of optimization modeling as well as developing and executing solver codes, eventually leading to a superior ability for automating optimization modeling and solving. Particularly, we introduce a semi-automated data synthesis framework designed for optimization modeling issues, named OR-Instruct. This framework merges the training data requirements of large models with the unique characteristics of optimization modeling problems, and allows for customizable enhancements tailored to specific scenarios or modeling types. To evaluate the performance of our proposed framework, we present the IndustryOR benchmark, the inaugural industrial standard for evaluating LLMs in solving practical OR problems. Utilizing data synthesized through OR-Instruct, we train various open-source LLMs with a capacity of 7 billion parameters (dubbed ORLMs). The resulting model demonstrates significantly enhanced optimization modeling capabilities, achieving state-of-the-art performance across the NL4OPT, MAMO, and IndustryOR benchmarks. Our code and data are available at \url{https://github.com/Cardinal-Operations/ORLM}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google