Code-Driven Inductive Synthesis: Enhancing Reasoning Abilities of Large Language Models with Sequences

要約

大規模な言語モデルは、推論能力において顕著な進歩を遂げます。
既存の作業は、主に演ductive的な推論タスク（コードや数学など）に焦点を当てていますが、人間の学習、帰納的推論とよりよく一致する別のタイプの推論モードは十分に研究されていません。
その理由は、高品質のプロセス監督データを取得することが帰納的推論にとって困難であるという事実に起因しています。
この目的に向けて、誘導性推論データのソースとして数字シーケンスを新たに使用します。
シーケンスをアルゴリズムの問​​題にパッケージ化して、コードソリューションを介して各シーケンスの一般用語を見つけます。
このようにして、コードソリューションが現在のシーケンスの任意の用語を保持するかどうかを確認し、コード単位テストを使用してケースベースの監督信号を注入できます。
シーケンス合成データパイプラインを構築し、トレーニングデータセットCodeseqを形成します。
実験結果は、Codeseqで調整されたモデルがコードと包括的な推論ベンチマークの両方で改善することを示しています。

要約(オリジナル)

Large language models make remarkable progress in reasoning capabilities. Existing works focus mainly on deductive reasoning tasks (e.g., code and math), while another type of reasoning mode that better aligns with human learning, inductive reasoning, is not well studied. We attribute the reason to the fact that obtaining high-quality process supervision data is challenging for inductive reasoning. Towards this end, we novelly employ number sequences as the source of inductive reasoning data. We package sequences into algorithmic problems to find the general term of each sequence through a code solution. In this way, we can verify whether the code solution holds for any term in the current sequence, and inject case-based supervision signals by using code unit tests. We build a sequence synthetic data pipeline and form a training dataset CodeSeq. Experimental results show that the models tuned with CodeSeq improve on both code and comprehensive reasoning benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google