Towards Probing Contact Center Large Language Models

要約

ドメイン固有の命令を使用して大規模言語モデル (LLM) を微調整することは、ドメイン固有の理解を強化する効果的な方法として浮上しました。
しかし、このプロセス中に獲得された核となる特性を調査する研究は限られています。
この研究では、会話、チャネル、および自動音声認識 (ASR) を含むプローブ タスクを介して、コンタクト センター (CC) 固有の命令で微調整された LLM とすぐに使える (OOB) LLM によって学習された基本的な特性をベンチマークします。
プロパティ。
さまざまな LLM アーキテクチャ (Flan-T5 および Llama)、サイズ (3B、7B、11B、13B)、および微調整パラダイム (完全な微調整と PEFT) を調査します。
私たちの調査結果では、ドメイン内のダウンストリーム タスクにおける CC-LLM の顕著な有効性が明らかになり、OOB-LLM と比較して応答の受容性が 48% 以上向上しました。
さらに、広く使用されている SentEval データセット上で OOB-LLM と CC-LLM のパフォーマンスを比較し、プローブ タスクを通じて表面情報、構文情報、および意味情報の観点からそれらの機能を評価します。
興味深いことに、一連のプローブ タスクにおけるプローブ分類器のパフォーマンスが比較的一貫していることに注目します。
私たちの観察によれば、CC-LLM はすぐに使用できる対応物よりも優れたパフォーマンスを示しながらも、エンコーディング サーフェイス、構文、セマンティックの特性にあまり依存しない傾向があり、ドメイン固有の適応とプローブ タスクのパフォーマンスの向上との間の複雑な相互作用が浮き彫りになっています。
特殊なコンテキストで微調整された言語モデルの動作を調査する機会を増やします。

要約(オリジナル)

Fine-tuning large language models (LLMs) with domain-specific instructions has emerged as an effective method to enhance their domain-specific understanding. Yet, there is limited work that examines the core characteristics acquired during this process. In this study, we benchmark the fundamental characteristics learned by contact-center (CC) specific instruction fine-tuned LLMs with out-of-the-box (OOB) LLMs via probing tasks encompassing conversational, channel, and automatic speech recognition (ASR) properties. We explore different LLM architectures (Flan-T5 and Llama), sizes (3B, 7B, 11B, 13B), and fine-tuning paradigms (full fine-tuning vs PEFT). Our findings reveal remarkable effectiveness of CC-LLMs on the in-domain downstream tasks, with improvement in response acceptability by over 48% compared to OOB-LLMs. Additionally, we compare the performance of OOB-LLMs and CC-LLMs on the widely used SentEval dataset, and assess their capabilities in terms of surface, syntactic, and semantic information through probing tasks. Intriguingly, we note a relatively consistent performance of probing classifiers on the set of probing tasks. Our observations indicate that CC-LLMs, while outperforming their out-of-the-box counterparts, exhibit a tendency to rely less on encoding surface, syntactic, and semantic properties, highlighting the intricate interplay between domain-specific adaptation and probing task performance opening up opportunities to explore behavior of fine-tuned language models in specialized contexts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google