Are Language Models Up to Sequential Optimization Problems? From Evaluation to a Hegelian-Inspired Enhancement

要約

大規模言語モデル（Large Language Models: LLM）は、様々な分野で素晴らしい能力を発揮しており、重要で、ユビキタスで、複雑な領域である最適化問題解決に革命をもたらす機会を提供している。本稿では、逐次最適化問題（Sequential Optimization Problems：SOPs）の処理におけるLLMの習熟度を探る。制御可能な複雑さを持つ未知のSOPを生成する動的フレームワークであるWorldGenを導入し、LLMの性能を評価する。我々の最初の観察から、LLMは単純なSOPでは良好な性能を示すが、複雑さが増すにつれて性能が著しく低下することが明らかになった。これを動機として、我々はLLMの性能を向上させるための推論に関する哲学的仮説を再検討した。ヘーゲル弁証法の影響力のあるフレームワークに触発され、我々はACEを提案し、SOP文脈におけるLLMの性能が、再トレーニングや更なる微調整なしに、いかに著しく改善されるかを実証する。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive capabilities across numerous fields, presenting an opportunity to revolutionize optimization problem-solving, a crucial, ubiquitous, and complex domain. This paper explores the proficiency of LLMs in handling Sequential Optimization Problems (SOPs). We introduce WorldGen, a dynamic framework for generating unseen SOPs with controllable complexities, to evaluate LLM performance. Our initial observations reveal that while LLMs perform well on simple SOPs, their performance significantly degrades with increased complexity. Motivated by this, we revisit philosophical hypotheses on reasoning to enhance LLM performance. Inspired by the influential framework of Hegelian Dialectics, we propose ACE, demonstrating how the performance of LLMs in SOP contexts can be significantly improved without any retraining or further fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL