Atom of Thoughts for Markov LLM Test-Time Scaling

要約

大規模な言語モデル（LLMS）は、トレーニングタイムスケーリングを通じて優れたパフォーマンスを実現し、テスト時間スケーリングは、推論中に効果的な推論を実施することにより機能をさらに強化します。
ただし、推論の規模が増加するにつれて、既存のテスト時間スケーリング方法は、計算リソースを浪費するだけでなく、効果的な推論を妨げる歴史的な情報に苦しみます。
この問題に対処するために、それぞれが自己完結型で検証可能である一連の独立したサブクエストを解決することにより、複雑な推論の進行がしばしば達成されることを観察します。
これらのサブクエストは本質的に原子的質問であり、マルコフプロセスの記憶のない遷移と同様に、主に蓄積された履歴ではなく現在の状態に依存しています。
この観察に基づいて、推論プロセスの各状態遷移は、現在の質問を依存関係に基づいた向きのある非環式グラフに分解し、そのサブクエストを収縮させ、新しい原子質問状態を形成することで構成されていることを提案します。
この反復分解対照プロセスは、直接的な原子的質問に到達するまで続き、質問状態間のマルコフの遷移を自然に実現します。
さらに、これらの原子的質問は、既存のテスト時間スケーリング方法にシームレスに統合され、AOTが推論機能を改善するためのプラグインの拡張機能として機能することができます。
6つのベンチマークにわたる実験は、スタンドアロンフレームワークとプラグインの強化の両方としてのAOTの有効性を示しています。
特に、Hotpotqaでは、GPT-4O-MINIに適用すると、AOTは80.6％のF1スコアを達成し、O3-MINIを3.4％、DeepSeek-R1を10.6％上回ります。
コードはhttps://github.com/qixucen/atomで入手できます。

要約(オリジナル)

Large Language Models (LLMs) achieve superior performance through training-time scaling, and test-time scaling further enhances their capabilities by conducting effective reasoning during inference. However, as the scale of reasoning increases, existing test-time scaling methods suffer from accumulated historical information, which not only wastes computational resources but also interferes with effective reasoning. To address this issue, we observe that complex reasoning progress is often achieved by solving a sequence of independent subquestions, each being self-contained and verifiable. These subquestions are essentially atomic questions, relying primarily on their current state rather than accumulated history, similar to the memoryless transitions in a Markov process. Based on this observation, we propose Atom of Thoughts (AoT), where each state transition in the reasoning process consists of decomposing the current question into a dependency-based directed acyclic graph and contracting its subquestions, forming a new atomic question state. This iterative decomposition-contraction process continues until reaching directly solvable atomic questions, naturally realizing Markov transitions between question states. Furthermore, these atomic questions can be seamlessly integrated into existing test-time scaling methods, enabling AoT to serve as a plug-in enhancement for improving reasoning capabilities. Experiments across six benchmarks demonstrate the effectiveness of AoT both as a standalone framework and a plug-in enhancement. Notably, on HotpotQA, when applied to gpt-4o-mini, AoT achieves an 80.6% F1 score, surpassing o3-mini by 3.4% and DeepSeek-R1 by 10.6%. The code will be available at https://github.com/qixucen/atom.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google