Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?

要約

最近、O1のようなモデルが大きな注目を集めており、これらのモデルは、既存の大手言語モデル（LLM）の推論能力を改善するための長い考え方（COT）の推論ステップを生成します。
このホワイトペーパーでは、これらの長いコットの品質を理解し、これらの長いコットの既存のLLMの批評能力を測定するために、さまざまな推論タスク（例：数学、コード、一般的な推論）のために、さまざまなO1様モデル（例：QWQ、DeepSeek-R1）から生成された長いコットを含むデルタベンチを紹介します。
Deltabenchに基づいて、最初に生成された長いCOTの細粒分析を実行して、異なるO1様モデルの有効性と効率を発見します。
次に、既存のプロセス報酬モデル（PRM）と批評家モデルの広範な評価を実施して、既存のPRMSおよび批評家モデルの境界と制限を調査することを目的とした各注釈プロセスのエラーを検出します。
最後に、Deltabenchが開発者がモデルの長いCOT推論能力をよりよく理解できるように導くことができることを願っています。

要約(オリジナル)

Recently, o1-like models have drawn significant attention, where these models produce the long Chain-of-Thought (CoT) reasoning steps to improve the reasoning abilities of existing Large Language Models (LLMs). In this paper, to understand the qualities of these long CoTs and measure the critique abilities of existing LLMs on these long CoTs, we introduce the DeltaBench, including the generated long CoTs from different o1-like models (e.g., QwQ, DeepSeek-R1) for different reasoning tasks (e.g., Math, Code, General Reasoning), to measure the ability to detect errors in long CoT reasoning. Based on DeltaBench, we first perform fine-grained analysis of the generated long CoTs to discover the effectiveness and efficiency of different o1-like models. Then, we conduct extensive evaluations of existing process reward models (PRMs) and critic models to detect the errors of each annotated process, which aims to investigate the boundaries and limitations of existing PRMs and critic models. Finally, we hope that DeltaBench could guide developers to better understand the long CoT reasoning abilities of their models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google