LARA: Linguistic-Adaptive Retrieval-Augmented LLMs for Multi-Turn Intent Classification

要約

大規模言語モデル (LLM) の重要な成果を受けて、研究者はテキスト分類タスクにコンテキスト内学習を採用しました。
ただし、これらの研究は、単一言語の 1 回の分類タスクに焦点を当てていました。
このペーパーでは、6 つの言語にわたるマルチターン分類タスクの精度を向上させ、チャットボットの対話における多数のインテントに対応するように設計された LARA (Languistic-Adaptive Retrieval-Augmented Language Model) を紹介します。
会話コンテキストの複雑さと進化する性質により、マルチターン インテント分類は特に困難です。
LARA は、LLM のアーキテクチャ内に統合された、微調整された小型モデルと検索拡張メカニズムを組み合わせることによって、これらの問題に取り組みます。
この統合により、LARA は過去の対話と関連する意図を動的に利用できるようになり、コンテキストの理解を向上させることができます。
さらに、当社の適応検索技術は、大規模な再トレーニングや微調整を必要とせずに、LLM の言語を超えた能力を強化します。
包括的な実験により、LARA がマルチターンの意図分類タスクで最先端のパフォーマンスを達成し、既存の方法と比較して平均精度が 3.67% 向上することが実証されました。

要約(オリジナル)

Following the significant achievements of large language models (LLMs), researchers have employed in-context learning for text classification tasks. However, these studies focused on monolingual, single-turn classification tasks. In this paper, we introduce LARA (Linguistic-Adaptive Retrieval-Augmented Language Models), designed to enhance accuracy in multi-turn classification tasks across six languages, accommodating numerous intents in chatbot interactions. Multi-turn intent classification is notably challenging due to the complexity and evolving nature of conversational contexts. LARA tackles these issues by combining a fine-tuned smaller model with a retrieval-augmented mechanism, integrated within the architecture of LLMs. This integration allows LARA to dynamically utilize past dialogues and relevant intents, thereby improving the understanding of the context. Furthermore, our adaptive retrieval techniques bolster the cross-lingual capabilities of LLMs without extensive retraining and fine-tune. Comprehensive experiments demonstrate that LARA achieves state-of-the-art performance on multi-turn intent classification tasks, enhancing the average accuracy by 3.67% compared to existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google