Scaling Laws for Discriminative Classification in Large Language Models

要約

最新の大規模言語モデル (LLM) は、機械学習モデルに期待されるパラダイム シフトを表しています。
LLM がさまざまなクエリに対して効果的に賢明な回答を生成できるという事実は、LLM がカスタマー サポート アプリケーションで役立つことを示唆しています。
LLM は強力ですが、幻覚を起こしやすいことが観察されており、残念ながら、カスタマー サポート アプリケーションでの短期的な使用は困難になります。
この問題に対処するために、言語モデリング タスクを識別分類タスクとして再構成することにより、LLM を使用してカスタマー サポートの支持者を強化できるシステムを紹介します。
この枠組みでは、カスタマー サポート担当者が顧客に応答する際に使用できる、上位 K 個の最良の応答テンプレートを提示することを目指しています。
実験システムでオフラインのゲインと統計的に有意なオンラインの上昇が観察された、オフラインとオンラインの両方の実験の結果を示します。
その過程で、モデル パラメーターのアブレーション研究から得られた、検証損失とトップ K の精度について観察されたスケーリング曲線を示します。
最後に、モデルのサイズ、レイテンシ、精度に関するトレードオフの領域について議論し、将来のアプリケーションの検討を提案します。

要約(オリジナル)

Modern large language models (LLMs) represent a paradigm shift in what can plausibly be expected of machine learning models. The fact that LLMs can effectively generate sensible answers to a diverse range of queries suggests that they would be useful in customer support applications. While powerful, LLMs have been observed to be prone to hallucination which unfortunately makes their near term use in customer support applications challenging. To address this issue we present a system that allows us to use an LLM to augment our customer support advocates by re-framing the language modeling task as a discriminative classification task. In this framing, we seek to present the top-K best template responses for a customer support advocate to use when responding to a customer. We present the result of both offline and online experiments where we observed offline gains and statistically significant online lifts for our experimental system. Along the way, we present observed scaling curves for validation loss and top-K accuracy, resulted from model parameter ablation studies. We close by discussing the space of trade-offs with respect to model size, latency, and accuracy as well as and suggesting future applications to explore.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google