Learning to Program with Natural Language

要約

タイトル：自然言語を用いたプログラム学習
要約：

– 大規模言語モデル（LLM）は、様々な基本的な自然言語タスクで驚異的なパフォーマンスを発揮し、人工知能の実現に向けた希望を醸し出している。
– 複雑なタスクを完了するためには、LLMがタスクのためにプログラムを作成し、そのプログラムに従ってテストサンプルの特定の解を生成する必要がある。
– 本研究では、自然言語を新しいプログラミング言語として使用し、タスク手順を記述することで、人間とLLMの両方に理解しやすくすることを提案する。
– LLMは自然言語プログラムを直接生成できるが、これらのプログラムには事実上の誤りや不完全なステップが含まれる可能性がある。
– そのため、本研究では、LLMにトレーニングデータセットから自然言語プログラムを学習し、学習したプログラムを推論のガイドとして使用する「プログラム学習（LP）」方法を提案する。
– AMPS（高校数学）および数学（競技数学問題）データセット上の実験では、本手法の有効性が示されている。
– AMPSデータセットの10のタスクでChatGPTをテストした場合、LP法の平均パフォーマンスは、ゼロショットテストのパフォーマンスを18.3％上回った。
– 本研究のコードは、\url{https://github.com/microsoft/NaturalLanguageProgram}に公開されている。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable performance in various basic natural language tasks, which raises hopes for achieving Artificial General Intelligence. To better complete complex tasks, we need LLMs to program for the task and then follow the program to generate a specific solution for the test sample. We propose using natural language as a new programming language to describe task procedures, making them easily understandable to both humans and LLMs. LLMs are capable of directly generating natural language programs, but these programs may still contain factual errors or incomplete steps. Therefore, we further propose the Learning to Program (LP) method to ask LLMs themselves to learn natural language programs from the training dataset of complex tasks and then use the learned program to guide inference. Our experiments on the AMPS (high school math) and Math (competition mathematics problems) datasets demonstrate the effectiveness of our approach. When testing ChatGPT on 10 tasks from the AMPS dataset, our LP method’s average performance outperformed the direct zero-shot test performance by 18.3$\%$. We release our code at \url{https://github.com/microsoft/NaturalLanguageProgram}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI