Can Language Models Falsify? Evaluating Algorithmic Reasoning with Counterexample Creation

要約

科学的発見を加速する言語モデル（LMS）の可能性についての興奮が高まっています。
仮説を偽造することは、科学的進歩の鍵です。これにより、主張は時間の経過とともに繰り返し洗練されることができます。
このプロセスには、重要な研究者の努力、推論、および創意工夫が必要です。
しかし、LMSの現在のベンチマークは、挑戦するのではなく、ソリューションを生成する能力を主に評価しています。
私たちは、この逆能力を評価するベンチマークを開発することを提唱しています – 微妙に誤ったソリューションのカウンターエクサムプルを作成します。
このアプローチを実証するために、アルゴリズム問題解決のドメインから始めます。ここでは、コード実行を使用してカウンターエクサムプルを自動的に評価できます。
具体的には、Rebuteを紹介します。これは、最近の問題と、人間の専門家がカウンターエクサムプルを特定したプログラミングコンペティションからの誤った提出を含む動的に更新されるベンチマークです。
私たちの分析では、コード実行フィードバックを備えたOpenai O3-Mini（High）でさえ、最良の推論エージェントは、評価がこれらの問題の最大48％をゼロから解決する能力を示しているにもかかわらず、反論の誤ったソリューションの9％未満のカウンターエクサムプルを作成できることがわかります。
私たちの仕事は、誤ったソリューションを偽造するLMSの能力を評価し、強化することにおいて進歩することを願っています。これは、研究を加速し、信頼できる反射的推論を通じてモデルを自己改善するために重要な能力です。

要約(オリジナル)

There is growing excitement about the potential of Language Models (LMs) to accelerate scientific discovery. Falsifying hypotheses is key to scientific progress, as it allows claims to be iteratively refined over time. This process requires significant researcher effort, reasoning, and ingenuity. Yet current benchmarks for LMs predominantly assess their ability to generate solutions rather than challenge them. We advocate for developing benchmarks that evaluate this inverse capability – creating counterexamples for subtly incorrect solutions. To demonstrate this approach, we start with the domain of algorithmic problem solving, where counterexamples can be evaluated automatically using code execution. Specifically, we introduce REFUTE, a dynamically updating benchmark that includes recent problems and incorrect submissions from programming competitions, where human experts successfully identified counterexamples. Our analysis finds that the best reasoning agents, even OpenAI o3-mini (high) with code execution feedback, can create counterexamples for only <9% of incorrect solutions in REFUTE, even though ratings indicate its ability to solve up to 48% of these problems from scratch. We hope our work spurs progress in evaluating and enhancing LMs' ability to falsify incorrect solutions - a capability that is crucial for both accelerating research and making models self-improve through reliable reflective reasoning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google