Grammar Prompting for Domain-Specific Language Generation with Large Language Models

要約

大規模言語モデル (LLM) は、コンテキスト内のほんの一握りの例から、幅広い自然言語タスクの実行方法を学習できます。
ただし、高度に構造化された言語 (複雑なドメイン固有言語へのセマンティック解析など) から文字列を生成する場合、LLM がほんの数個のサンプルから一般化することは困難です。
私たちは、コンテキスト内学習中に、Backus–Naur Form (BNF) で表現された文法を通じて表現された外部知識とドメイン固有の制約を LLM が使用できるようにする簡単なアプローチとして $\textbf{文法プロンプト}$ を検討します。
文法プロンプトは、特定の出力例を生成するのに最低限十分な特殊な文法で各デモンストレーション例を強化します。特殊な文法は完全な DSL 文法のサブセットです。
推論の場合、LLM はまずテスト入力を与えられて BNF 文法を予測し、次に文法の規則に従って出力を生成します。
実験では、文法プロンプトにより、LLM がセマンティック解析 (SMCalFlow、Overnight、GeoQuery)、PDDL 計画、さらには分子生成 (SMILES) などのさまざまな DSL 生成タスクで競争力を持って実行できることが実証されました。

要約(オリジナル)

Large language models (LLMs) can learn to perform a wide range of natural language tasks from just a handful of in-context examples. However, for generating strings from highly structured languages (e.g., semantic parsing to complex domain-specific languages), it is challenging for the LLM to generalize from just a few exemplars. We explore $\textbf{grammar prompting}$ as a simple approach for enabling LLMs to use external knowledge and domain-specific constraints, expressed through a grammar expressed in Backus–Naur Form (BNF), during in-context learning. Grammar prompting augments each demonstration example with a specialized grammar that is minimally sufficient for generating the particular output example, where the specialized grammar is a subset of the full DSL grammar. For inference, the LLM first predicts a BNF grammar given a test input, and then generates the output according to the rules of the grammar. Experiments demonstrate that grammar prompting can enable LLMs to perform competitively on a diverse set of DSL generation tasks, including semantic parsing (SMCalFlow, Overnight, GeoQuery), PDDL planning, and even molecule generation (SMILES).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google