When Do Program-of-Thoughts Work for Reasoning?

要約

具現化された人工知能の領域では、大規模言語モデル（LLM）の推論能力が極めて重要な役割を果たしている。複雑な推論タスクに取り組むためにプログラミング言語を使用するLLMのためのプログラムオブソートプロンプトのような効果的な方法はあるが、推論能力の向上に対するコードデータの具体的な影響についてはまだ十分に研究されていない。このギャップを解決するために、我々はコードと推論能力の相関を測定するために、構造的属性と論理的属性を組み合わせた複雑性影響推論スコア(CIRS)を提案する。具体的には、抽象構文木を用いて構造情報を符号化し、難易度とサイクロマティック複雑度を考慮して論理的複雑度を計算する。実証的な分析を通じて、複雑なコードデータすべてがLLMによって学習・理解できるわけではないことがわかった。プログラム支援プロンプトによる推論能力の向上には、最適な複雑さのレベルが重要である。次に、自動合成と階層化アルゴリズムを設計し、数学的推論のための命令生成とコード生成タスクのためのコードデータフィルタリングに適用する。広範な結果は、我々の提案アプローチの有効性を実証している。コードは、https://github.com/zjunlp/EasyInstruct、EasyInstructフレームワークに統合される予定である。

要約(オリジナル)

In the realm of embodied artificial intelligence, the reasoning capabilities of Large Language Models (LLMs) play a pivotal role. Although there are effective methods like program-of-thought prompting for LLMs which uses programming language to tackle complex reasoning tasks, the specific impact of code data on the improvement of reasoning capabilities remains under-explored. To address this gap, we propose complexity-impacted reasoning score (CIRS), which combines structural and logical attributes, to measure the correlation between code and reasoning abilities. Specifically, we use the abstract syntax tree to encode the structural information and calculate logical complexity by considering the difficulty and the cyclomatic complexity. Through an empirical analysis, we find not all code data of complexity can be learned or understood by LLMs. Optimal level of complexity is critical to the improvement of reasoning abilities by program-aided prompting. Then we design an auto-synthesizing and stratifying algorithm, and apply it to instruction generation for mathematical reasoning and code data filtering for code generation tasks. Extensive results demonstrates the effectiveness of our proposed approach. Code will be integrated into the EasyInstruct framework at https://github.com/zjunlp/EasyInstruct.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL