Diverse In-Context Example Selection After Decomposing Programs and Aligned Utterances Improves Semantic Parsing

要約

LLMは、自然言語の発話から構造化されたプログラムへのseq2seqトランスレータとして使われることが多くなっている。アトミックラベルやトークン列とは異なり、プログラムは抽象構文木（AST）として表現される。このような構造化表現は、LLMに提示される文脈内例（ICE）の設計と選択に関する新しい問題を提起する。我々は、利用可能なICEツリーのプールを、テストインスタンスを解くのに適した断片に分解することに重点を置く。次に、プロンプト構文制約を持つLLMの（追加的な）呼び出しを使用して、断片を対応する発話に自動的にマッピングする方法を提案する。最後に、多様なICEを選択するための最近の手法を、ICE全体と断片化されたICEインスタンスで動作するように適応・拡張する。我々のシステムSCUD4ICLを、一般的な多様な意味解析ベンチマークで評価した結果、我々の提案する分解された多様な実証手法により、目に見えて精度が向上することが示された。特に、より小さいLLM、より大きなラベルツリーを持つICEプール、より低リソース言語のプログラムに対して顕著な効果がある。

要約(オリジナル)

LLMs are increasingly used as seq2seq translators from natural language utterances to structured programs, a process called semantic interpretation. Unlike atomic labels or token sequences, programs are naturally represented as abstract syntax trees (ASTs). Such structured representation raises novel issues related to the design and selection of in-context examples (ICEs) presented to the LLM. We focus on decomposing the pool of available ICE trees into fragments, some of which may be better suited to solving the test instance. Next, we propose how to use (additional invocations of) an LLM with prompted syntax constraints to automatically map the fragments to corresponding utterances. Finally, we adapt and extend a recent method for diverse ICE selection to work with whole and fragmented ICE instances. We evaluate our system, SCUD4ICL, on popular diverse semantic parsing benchmarks, showing visible accuracy gains from our proposed decomposed diverse demonstration method. Benefits are particularly notable for smaller LLMs, ICE pools having larger labeled trees, and programs in lower resource languages.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL