Grammar Prompting for Domain-Specific Language Generation with Large Language Models

要約

大規模言語モデル（LLM）は、ほんの一握りの文脈内の例から、広範囲の自然言語タスクを実行するように学習することができる。しかし、高度に構造化された言語から文字列を生成する場合（例えば、意味解析から複雑なドメイン固有言語まで）、LLMがわずか数個の模範例から汎化することは困難です。我々は、LLMがコンテキスト内学習中に、Backus–Naur Form (BNF)の文法で表現された外部知識とドメイン固有制約を利用できるようにするシンプルなアプローチである「文法プロンプト(grammar prompting)」を提案する。文法プロンプトは、特定の出力例を生成するのに必要最小限の文法で各実証例を補強する。推論では、LLMはまずテスト入力が与えられたときにBNF文法を予測し、次にその文法の規則に従って出力を生成する。実験では、文法プロンプトによって、セマンティック構文解析（SMCalFlow、Overnight、GeoQuery）、PDDLプランニング、SMILESベースの分子生成など、多様なDSL生成タスクにおいてLLMが競争力のある性能を発揮できることが実証された。

要約(オリジナル)

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We propose \emph{grammar prompting}, a simple approach to enable LLMs to use external knowledge and domain-specific constraints, expressed through a grammar in Backus–Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and SMILES-based molecule generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL