Efficient Intent-Based Filtering for Multi-Party Conversations Using Knowledge Distillation from LLMs

要約

大規模な言語モデル（LLMS）は、会話型AIの顕著な機能を紹介し、チャットボットのオープンドメイン応答を可能にし、要約、意図分類、洞察の生成などの会話の高度な処理を可能にしています。
ただし、これらのモデルはリソース集約型であり、実質的なメモリと計算能力を要求しています。
これに対処するために、すべてのスニペットを処理するのではなく、ターゲットダウンストリームアプリケーションに合わせたLLM処理の会話型スニペットをフィルタリングする費用対効果の高いソリューションを提案します。
この作業では、LLMSからの知識の蒸留を活用して、マルチパーティ会話の意図ベースのフィルターを開発する革新的なアプローチを導入します。
私たちの方法は、さまざまな戦略を組み合わせて、多様なマルチパーティの会話データセットを作成します。つまり、ターゲットの意図と注釈が付けられ、マルチラベルの意図分類のためにMobileBertモデルを微調整するために使用されます。
このモデルは、効率とパフォーマンスのバランスを達成し、その意図に基づいて会話スニペットを効果的にフィルタリングします。
関連するスニペットのみをLLMに渡すことにより、さらなる処理のために、私たちのアプローチは、実験で実証されているように、意図とデータ分布に応じて全体的な運用コストを大幅に削減します。

要約(オリジナル)

Large language models (LLMs) have showcased remarkable capabilities in conversational AI, enabling open-domain responses in chat-bots, as well as advanced processing of conversations like summarization, intent classification, and insights generation. However, these models are resource-intensive, demanding substantial memory and computational power. To address this, we propose a cost-effective solution that filters conversational snippets of interest for LLM processing, tailored to the target downstream application, rather than processing every snippet. In this work, we introduce an innovative approach that leverages knowledge distillation from LLMs to develop an intent-based filter for multi-party conversations, optimized for compute power constrained environments. Our method combines different strategies to create a diverse multi-party conversational dataset, that is annotated with the target intents and is then used to fine-tune the MobileBERT model for multi-label intent classification. This model achieves a balance between efficiency and performance, effectively filtering conversation snippets based on their intents. By passing only the relevant snippets to the LLM for further processing, our approach significantly reduces overall operational costs depending on the intents and the data distribution as demonstrated in our experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google