Measuring and Mitigating Constraint Violations of In-Context Learning for Utterance-to-API Semantic Parsing

要約

実行可能なタスク指向のセマンティック解析では、システムは自然言語でのユーザーの発話を、事前定義された API 仕様に従って実行できる機械解釈可能なプログラム (API 呼び出し) に翻訳することを目的としています。
大規模言語モデル (LLM) の人気により、コンテキスト内学習は、特にデータが限られた状況において、そのようなシナリオに対する強力なベースラインを提供します。
ただし、LLM は幻覚を起こすことが知られているため、生成されたコンテンツを制限する際に大きな課題となります。
したがって、API の構造的およびタスク固有の制約を尊重することが重要であるタスク指向の発話から API への生成を LLM が効果的に実行できるかどうかは依然として不確実です。
この研究では、そのような制約違反を測定、分析、軽減することを目指しています。
まず、タスク指向の発話から API セマンティクスを取得する際のさまざまな制約のカテゴリを特定し、従来の指標を補完する詳細な指標を定義します。
次に、これらのメトリクスを活用して、最先端の LLM で見られる制約違反の詳細なエラー分析を実施します。これにより、デモンストレーションのセマンティック検索 (SRD) と API 対応の制約デコードという 2 つの緩和戦略を調査することになります (
API-CD)。
私たちの実験では、これらの戦略は制約違反を減らし、生成された API 呼び出しの品質を向上させるのに効果的ですが、実装の複雑さと遅延を考慮すると慎重な検討が必要であることが示されています。

要約(オリジナル)

In executable task-oriented semantic parsing, the system aims to translate users’ utterances in natural language to machine-interpretable programs (API calls) that can be executed according to pre-defined API specifications. With the popularity of Large Language Models (LLMs), in-context learning offers a strong baseline for such scenarios, especially in data-limited regimes. However, LLMs are known to hallucinate and therefore pose a formidable challenge in constraining generated content. Thus, it remains uncertain if LLMs can effectively perform task-oriented utterance-to-API generation where respecting API’s structural and task-specific constraints is crucial. In this work, we seek to measure, analyze and mitigate such constraints violations. First, we identify the categories of various constraints in obtaining API-semantics from task-oriented utterances, and define fine-grained metrics that complement traditional ones. Second, we leverage these metrics to conduct a detailed error analysis of constraints violations seen in state-of-the-art LLMs, which motivates us to investigate two mitigation strategies: Semantic-Retrieval of Demonstrations (SRD) and API-aware Constrained Decoding (API-CD). Our experiments show that these strategies are effective at reducing constraints violations and improving the quality of the generated API calls, but require careful consideration given their implementation complexity and latency.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google