Patience Is The Key to Large Language Model Reasoning

要約

大規模言語モデルの分野における最近の進歩、特に思考連鎖 (CoT) アプローチによるものは、複雑な問題の解決において大幅な改善を示しています。
ただし、既存のモデルは、ユーザーの好みにより簡潔にするために詳細な推論を犠牲にするか、複雑な推論能力を学習するために大規模で高価なトレーニング データを必要とする傾向があり、複雑なタスクを解決する可能性が制限されています。
このギャップを埋めるために、テスト時間のスケーリングの概念に従って、新しい知識やスキルを導入する必要なく、モデルがより忍耐強い推論スタイルを採用することを奨励する簡単な方法を提案します。
好みの最適化アプローチを採用するために、詳細な推論プロセスを肯定的な例として生成し、単純な回答を否定的な例として生成し、それによって応答の徹底性を優先するようにモデルをトレーニングします。
私たちの結果は、軽量のデータセットのみでトレーニングした場合、GSM8k でパフォーマンスが最大 6.7% 向上することを示しています。

要約(オリジナル)

Recent advancements in the field of large language models, particularly through the Chain of Thought (CoT) approach, have demonstrated significant improvements in solving complex problems. However, existing models either tend to sacrifice detailed reasoning for brevity due to user preferences, or require extensive and expensive training data to learn complicated reasoning ability, limiting their potential in solving complex tasks. To bridge this gap, following the concept of scaling test-time, we propose a simple method by encouraging models to adopt a more patient reasoning style without the need of introducing new knowledge or skills. To employ a preference optimization approach, we generate detailed reasoning processes as positive examples and simple answers as negative examples, thereby training the model to favor thoroughness in its responses. Our results demonstrate a performance increase of up to 6.7% on GSM8k with training just on a lightweight dataset.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google