LLM for Complex Reasoning Task: An Exploratory Study in Fermi Problems

要約

フェルミ問題(FP)は、人間のような論理と数値推論を必要とする数学的推論課題である。他の推論問題とは異なり、FPは現実世界の非現実的な問題や曖昧な概念を含むことが多く、人間にとっても解くのが難しい問題である。様々な推論タスクにおける大規模言語モデル（LLM）を中心としたAIの進歩にもかかわらず、FPは比較的未解明なままである。本研究では、FPを解く際のLLMの能力と限界を検証するための探索的研究を行った。まず、公開されているFPデータセットを用いて、3つの先進的なLLMの総合的な性能を評価した。また，最近提案されたTELeR分類法に従ってプロンプトを設計し，ゼロショットシナリオを含めた．その結果、3つのLLMはいずれもfp_score（0～1の範囲）が0.5以下であり、推論タスクの本質的な難しさが明らかになった。さらに詳しく調査するため、FPを標準的な質問と特殊な質問に分類し、LLMは特殊な質問よりも、明確で簡潔という特徴を持つ標準的な質問の方が良い結果を出すという仮説を立てた。比較実験の結果、この仮説は実証され、LLMは標準的なFPにおいて、精度と効率の両面でより良い結果を示した。

要約(オリジナル)

Fermi Problems (FPs) are mathematical reasoning tasks that require human-like logic and numerical reasoning. Unlike other reasoning questions, FPs often involve real-world impracticalities or ambiguous concepts, making them challenging even for humans to solve. Despite advancements in AI, particularly with large language models (LLMs) in various reasoning tasks, FPs remain relatively under-explored. This work conducted an exploratory study to examine the capabilities and limitations of LLMs in solving FPs. We first evaluated the overall performance of three advanced LLMs using a publicly available FP dataset. We designed prompts according to the recently proposed TELeR taxonomy, including a zero-shot scenario. Results indicated that all three LLMs achieved a fp_score (range between 0 – 1) below 0.5, underscoring the inherent difficulty of these reasoning tasks. To further investigate, we categorized FPs into standard and specific questions, hypothesizing that LLMs would perform better on standard questions, which are characterized by clarity and conciseness, than on specific ones. Comparative experiments confirmed this hypothesis, demonstrating that LLMs performed better on standard FPs in terms of both accuracy and efficiency.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL