kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning

要約

タスク指向解析 (TOP) を使用すると、会話アシスタントが自然言語で表現されたユーザー コマンドを解釈し、自然言語とインテント/スロット タグの両方の要素を組み合わせた構造化された出力に変換できます。
最近、大規模言語モデル (LLM) は、自然言語プロンプトに基づいてコンピューター プログラムを合成する際に目覚ましいパフォーマンスを達成し、自然言語と構造化プログラムの間のギャップを軽減しました。
私たちの論文は、セマンティック解析タスクに LLM の機能を活用することに焦点を当てており、次の 3 つの主要な研究課題に取り組んでいます。 1) LLM をセマンティック解析タスクに効果的に利用するにはどうすればよいですか?
2) 効果的なプロンプトとは何ですか?
3) LLM は、すべての例をプロンプトとして含めることによって、長さの制約を克服し、プロンプト設計を合理化するにはどうすればよいでしょうか?
k 最近傍インコンテキスト学習 (kNN-ICL) を導入します。これは、すべてのデモ例へのアクセスを提供しながら、あらゆる設計戦略の上に構築できるようにすることで、プロンプト エンジニアリングを簡素化します。
広範な実験により、1) kNN 検索を使用しない単純な ICL は、TOP タスクの強力な教師ありモデルと同等のパフォーマンスを達成できること、2) kNN-ICL は、ICL と最近傍アプローチをシームレスに統合することにより、複雑なリクエストの理解を大幅に向上させることが示されています。
特に、この機能強化は、追加のデータや特殊なプロンプトを必要とせずに実現されます。

要約(オリジナル)

Task-Oriented Parsing (TOP) enables conversational assistants to interpret user commands expressed in natural language, transforming them into structured outputs that combine elements of both natural language and intent/slot tags. Recently, Large Language Models (LLMs) have achieved impressive performance in synthesizing computer programs based on a natural language prompt, mitigating the gap between natural language and structured programs. Our paper focuses on harnessing the capabilities of LLMs for semantic parsing tasks, addressing the following three key research questions: 1) How can LLMs be effectively utilized for semantic parsing tasks? 2) What defines an effective prompt? and 3) How can LLM overcome the length constraint and streamline prompt design by including all examples as prompts? We introduce k Nearest Neighbor In-Context Learning(kNN-ICL), which simplifies prompt engineering by allowing it to be built on top of any design strategy while providing access to all demo examples. Extensive experiments show that: 1)Simple ICL without kNN search can achieve a comparable performance with strong supervised models on the TOP tasks, and 2) kNN-ICL significantly improves the comprehension of complex requests by seamlessly integrating ICL with a nearest-neighbor approach. Notably, this enhancement is achieved without the need for additional data or specialized prompts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google