Beyond Lines and Circles: Unveiling the Geometric Reasoning Gap in Large Language Models

要約

大規模言語モデル (LLM) は、数学的およびアルゴリズム的なタスクにおいて能力がますます向上していることを示していますが、その幾何学的な推論スキルは十分に解明されていません。
私たちは、人間の数学的推論の発達における最も基本的なステップの 1 つである、建設的な幾何学的問題解決における LLM の能力を調査します。
私たちの研究は、同様の分野で多くの成功を収めているにもかかわらず、最先端の LLM がこの分野で直面している注目すべき課題を明らかにしています。
LLM はターゲット変数の選択にバイアスがあり、2D 空間関係に苦戦し、オブジェクトとその配置を誤って伝えたり幻覚を与えたりすることがよくあります。
この目的を達成するために、内部対話を行うことで既存の推論能力を強化する LLM ベースのマルチエージェント システムを定式化するフレームワークを導入します。
この研究は、LLM の幾何学的推論における現在の限界を強調し、自己修正、コラボレーション、および多様な役割の専門化を通じて幾何学的推論の能力を向上させます。

要約(オリジナル)

Large Language Models (LLMs) demonstrate ever-increasing abilities in mathematical and algorithmic tasks, yet their geometric reasoning skills are underexplored. We investigate LLMs’ abilities in constructive geometric problem-solving one of the most fundamental steps in the development of human mathematical reasoning. Our work reveals notable challenges that the state-of-the-art LLMs face in this domain despite many successes in similar areas. LLMs exhibit biases in target variable selection and struggle with 2D spatial relationships, often misrepresenting and hallucinating objects and their placements. To this end, we introduce a framework that formulates an LLMs-based multi-agents system that enhances their existing reasoning potential by conducting an internal dialogue. This work underscores LLMs’ current limitations in geometric reasoning and improves geometric reasoning capabilities through self-correction, collaboration, and diverse role specializations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google