Leveraging Information Retrieval to Enhance Spoken Language Understanding Prompts in Few-Shot Learning

要約

ユーザーのクエリを理解することは、ホームアシスタント、予約システム、レコメンデーションなど、多くのアプリケーションにおいて基本的なことである。したがって、システムの信頼性を確保するためには、正確な音声言語理解（SLU）アプローチを開発することが重要です。現在の最先端のSLU技術は、大量の学習データに依存していますが、特定のタスクや言語については、限られたアノテーション例しか利用できません。 一方、インストラクションチューニングされた大規模言語モデル(LLM)は、適切なプロンプトが提供された場合、数ショットの設定で未知のタスクに対して卓越した性能を示している。本研究では、SLUタスクに適用される強化されたプロンプトを構築するために、情報検索（IR）アプローチを活用した例選択の探求を提案する。提案手法の有効性を複数のSLUベンチマークで評価する。実験の結果、プロンプトの長さを増加させることなく、語彙的IR手法によって性能が大幅に向上することが示された。

要約(オリジナル)

Understanding user queries is fundamental in many applications, such as home assistants, booking systems, or recommendations. Accordingly, it is crucial to develop accurate Spoken Language Understanding (SLU) approaches to ensure the reliability of the considered system. Current State-of-the-Art SLU techniques rely on large amounts of training data; however, only limited annotated examples are available for specific tasks or languages. In the meantime, instruction-tuned large language models (LLMs) have shown exceptional performance on unseen tasks in a few-shot setting when provided with adequate prompts. In this work, we propose to explore example selection by leveraging Information retrieval (IR) approaches to build an enhanced prompt that is applied to an SLU task. We evaluate the effectiveness of the proposed method on several SLU benchmarks. Experimental results show that lexical IR methods significantly enhance performance without increasing prompt length.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL