EHOP: A Dataset of Everyday NP-Hard Optimization Problems

要約

自然言語で表現されたNPハード最適化問題のコレクションである、日常のハード最適化問題（EHOP）のデータセットを紹介します。
EHOPには、コンピューターサイエンスの教科書に見られる可能性のある問題の定式化、実生活で発生する可能性のある問題として装いられているバージョン、および逆ルールのよく知られている問題のバリエーションが含まれています。
複数のプロンプト戦略にまたがる最先端のLLMSは、実際のものや反転したカウンターパートよりも、教科書の問題を体系的に正確に解決することがわかります。
これは、LLMSが新しい問題に一般化できる推論能力を活用するのではなく、トレーニング中に見られるソリューションを適応させるという証拠を構成すると主張します。

要約(オリジナル)

We introduce the dataset of Everyday Hard Optimization Problems (EHOP), a collection of NP-hard optimization problems expressed in natural language. EHOP includes problem formulations that could be found in computer science textbooks, versions that are dressed up as problems that could arise in real life, and variants of well-known problems with inverted rules. We find that state-of-the-art LLMs, across multiple prompting strategies, systematically solve textbook problems more accurately than their real-life and inverted counterparts. We argue that this constitutes evidence that LLMs adapt solutions seen during training, rather than leveraging reasoning abilities that would enable them to generalize to novel problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google