Learning to Program with Natural Language

要約

タイトル：自然言語によるプログラミングの学習
要約：
– 大規模言語モデル（LLM）は、さまざまな基本的な自然言語タスクで優れた性能を発揮しており、人工知能一般を達成する可能性がある。
– 複雑なタスクをよりよく完了するために、LLMがタスク用のプログラムを作成し、テストサンプルの特定の解決策を生成できるようにする必要がある。
– 人間とLLMの両方にとって理解しやすいタスクプロシージャを説明するために、自然言語を新しいプログラミング言語として使用することを提案する。
– LLMは自然言語プログラムを直接生成できるが、これらのプログラムには事実上の誤りや不完全なステップが含まれる場合がある。
– そこで、LLM自身に、複雑なタスクのトレーニングデータセットから自然言語プログラムを学習させ、学習したプログラムを推論に使用するLP（プログラムの学習）方法を提案する。
– AMPS（高校数学）および数学（競技数学問題）データセットでの実験により、提案手法の有効性が示された。
– AMPSデータセットからの10のタスクでChatGPTをテストした場合、LPメソッドの平均性能は、直接のゼロショットテスト性能を18.3％上回った。
– 弊社はコードを\url{https://github.com/microsoft/NaturalLanguageProgram}で公開しています。

要約(オリジナル)

Large Language Models (LLMs) have shown remarkable performance in various basic natural language tasks, which raises hopes for achieving Artificial General Intelligence. To better complete complex tasks, we need LLMs to program for the task and then follow the program to generate a specific solution for the test sample. We propose using natural language as a new programming language to describe task procedures, making them easily understandable to both humans and LLMs. LLMs are capable of directly generating natural language programs, but these programs may still contain factual errors or incomplete steps. Therefore, we further propose the Learning to Program (LP) method to ask LLMs themselves to learn natural language programs from the training dataset of complex tasks and then use the learned program to guide inference. Our experiments on the AMPS (high school math) and Math (competition mathematics problems) datasets demonstrate the effectiveness of our approach. When testing ChatGPT on 10 tasks from the AMPS dataset, our LP method’s average performance outperformed the direct zero-shot test performance by 18.3$\%$. We release our code at \url{https://github.com/microsoft/NaturalLanguageProgram}.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI