Effective and Efficient Conversation Retrieval for Dialogue State Tracking with Implicit Text Summaries

要約

大規模言語モデル (LLM) を使用した少数ショットの対話状態追跡 (DST) は、効果的かつ効率的な会話検索ツールに依存して、コンテキスト内の類似した例を見つけて迅速な学習を実現します。
以前の作品では、生の対話コンテキストを検索キーおよびクエリとして使用し、レトリーバーは注釈付きの対話を使用して微調整され、優れたパフォーマンスを実現しました。
ただし、このアプローチは、データを微調整できないため、新しいドメインや新しい注釈言語への拡張にはあまり適していません。
この問題に対処するために、会話のテキスト要約に基づいて会話を検索するタスクを処理します。
クエリとキーの生成には LLM ベースの会話サマライザーが採用されており、効果的な最大内積検索が可能です。
LLM ベースの会話要約によってもたらされる余分な推論コストを回避するために、テスト会話の要約をデコードせずにクエリ埋め込みを生成する軽量の会話エンコーダーをさらに抽出しました。
GPT-Neo-2.7B および LLaMA-7B/30B を使用して、MultiWOZ データセットに対する検索アプローチを検証します。
実験結果は、実際の数ショットの DST 設定で関連するベースラインと比較して大幅な改善を示しています。

要約(オリジナル)

Few-shot dialogue state tracking (DST) with Large Language Models (LLM) relies on an effective and efficient conversation retriever to find similar in-context examples for prompt learning. Previous works use raw dialogue context as search keys and queries, and a retriever is fine-tuned with annotated dialogues to achieve superior performance. However, the approach is less suited for scaling to new domains or new annotation languages, where fine-tuning data is unavailable. To address this problem, we handle the task of conversation retrieval based on text summaries of the conversations. A LLM-based conversation summarizer is adopted for query and key generation, which enables effective maximum inner product search. To avoid the extra inference cost brought by LLM-based conversation summarization, we further distill a light-weight conversation encoder which produces query embeddings without decoding summaries for test conversations. We validate our retrieval approach on MultiWOZ datasets with GPT-Neo-2.7B and LLaMA-7B/30B. The experimental results show a significant improvement over relevant baselines in real few-shot DST settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google