Tiny Titans: Can Smaller Large Language Models Punch Above Their Weight in the Real World for Meeting Summarization?

要約

大規模言語モデル (LLM) は、タスク固有のデータセットで明示的に微調整することなく、幅広いタスクを解決する優れた機能を実証しています。
ただし、LLM を現実世界に展開することは、かなりのコンピューティング リソースを必要とするため、簡単ではありません。
このペーパーでは、現実世界での LLM の利用に伴う多大なコストに対処するために、より小型でコンパクトな LLM が比較的大型の LLM2 に代わる良い選択肢であるかどうかを調査します。
この点に関して、私たちは現実の産業環境における会議の要約タスクを研究し、微調整されたコンパクトな LLM (FLAN-T5、TinyLLaMA、LiteLLaMA など) のパフォーマンスをゼロショットのより大きな LLM (FLAN-T5、TinyLLaMA、LiteLLaMA など) と比較することで広範な実験を行っています。
、LLaMA-2、GPT-3.5、PaLM-2）。
ほとんどの小規模な LLM は、微調整した後でも、要約データセットに対応する際に、より大きなゼロショット LLM を上回るパフォーマンスを発揮できないことが観察されています。
ただし、注目すべき例外は FLAN-T5 (780M パラメータ) で、これは大幅に小さいにもかかわらず、多くのゼロショットの大型 LLM (パラメータ 7B から 70B 以上) と同等かそれ以上のパフォーマンスを発揮します。
これにより、FLAN-T5 のようなコンパクトな LLM は、実際の産業展開に適したコスト効率の高いソリューションになります。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated impressive capabilities to solve a wide range of tasks without being explicitly fine-tuned on task-specific datasets. However, deploying LLMs in the real world is not trivial, as it requires substantial computing resources. In this paper, we investigate whether smaller, compact LLMs are a good alternative to the comparatively Larger LLMs2 to address significant costs associated with utilizing LLMs in the real world. In this regard, we study the meeting summarization task in a real-world industrial environment and conduct extensive experiments by comparing the performance of fine-tuned compact LLMs (e.g., FLAN-T5, TinyLLaMA, LiteLLaMA) with zero-shot larger LLMs (e.g., LLaMA-2, GPT-3.5, PaLM-2). We observe that most smaller LLMs, even after fine-tuning, fail to outperform larger zero-shot LLMs in meeting summarization datasets. However, a notable exception is FLAN-T5 (780M parameters), which performs on par or even better than many zero-shot Larger LLMs (from 7B to above 70B parameters), while being significantly smaller. This makes compact LLMs like FLAN-T5 a suitable cost-efficient solution for real-world industrial deployment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google