Case2Code: Learning Inductive Reasoning with Synthetic Data

要約

複雑な推論は、大規模言語モデル (LLM) によって示される優れた能力です。
ほとんどの LLM は、思考連鎖のプロンプトや、困難なタスクを段階的に解決するための反復ツールの使用など、演繹的推論に熟練しています。
この論文では、帰納的推論を行うために LLM を評価し、教えることに焦点を当てたいと考えています。つまり、LLM は例や逐次変換を観察することによって基礎となるルールを推論することになっています。
ただし、人間が生成した大規模かつ多様な帰納的データを収集するのは困難です。
私たちはコード領域でのデータ合成に焦点を当て、プログラムの表現力と正確性を利用して \textbf{Case2Code} タスクを提案します。
具体的には、さまざまな実行可能プログラムのセットを収集し、各プログラムの入出力変換を合成し、LLM に合成 I/O ケースに基づいて基礎となるコード実装を推論させます。
まず、合成された Case2Code タスクで代表的な LLM を評価し、LLM にとって Case-to-code 帰納が困難であることを示します。
次に、大規模な Case2Code トレーニング サンプルを合成して、帰納的推論を実行するように LLM をトレーニングします。
実験結果は、このような帰納トレーニングが Case2Code の配布パフォーマンスに利益をもたらすだけでなく、トレーニングされた LLM のさまざまなコーディング能力を強化することを示し、合成データを介して帰納的推論を学習する大きな可能性を示しています。

要約(オリジナル)

Complex reasoning is an impressive ability shown by large language models (LLMs). Most LLMs are skilled in deductive reasoning, such as chain-of-thought prompting or iterative tool-using to solve challenging tasks step-by-step. In this paper, we hope to focus on evaluating and teaching LLMs to conduct inductive reasoning, that is, LLMs are supposed to infer underlying rules by observing examples or sequential transformations. However, collecting large-scale and diverse human-generated inductive data is challenging. We focus on data synthesis in the code domain and propose a \textbf{Case2Code} task by exploiting the expressiveness and correctness of programs. Specifically, we collect a diverse set of executable programs, synthesize input-output transformations for each program, and force LLMs to infer the underlying code implementations based on the synthetic I/O cases. We first evaluate representative LLMs on the synthesized Case2Code task and demonstrate that the Case-to-code induction is challenging for LLMs. Then, we synthesize large-scale Case2Code training samples to train LLMs to perform inductive reasoning. Experimental results show that such induction training benefits not only in distribution Case2Code performance but also enhances various coding abilities of trained LLMs, demonstrating the great potential of learning inductive reasoning via synthetic data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google