Does Knowledge Distillation Matter for Large Language Model based Bundle Generation?

要約

LLMは、推論の能力と知識のおかげで、バンドル生成のためにますます探求されています。
ただし、大規模なLLMSを展開すると、大幅なパラメーター化により、微調整中に主に高い計算コストが発生します。
Knowledge Distillation（KD）は、大規模な教師モデルからコンパクトな学生モデルに専門知識を移転する有望なソリューションを提供します。
この研究では、バンドル生成の知識蒸留アプローチを体系的に調査し、パフォーマンスを維持しながら計算需要を最小限に抑えることを目指しています。
（1）KDの形式はバンドル生成のパフォーマンスにどのように影響しますか？
（2）蒸留された知識の量は、パフォーマンスにどの程度影響しますか？
（3）蒸留された知識を活用するさまざまな方法は、パフォーマンスにどのように影響しますか？
（i）知識（パターン、ルール、深い考え）を徐々に抽出する包括的なKDフレームワークを提案します。
（ii）さまざまな戦略を通じて、さまざまな量の蒸留知識をキャプチャします。
（iii）補完的なLLM適応技術（コンテキスト学習、監視付き微調整、組み合わせ）を活用して、ドメイン固有の適応と効率の向上のために小規模な学生モデルの蒸留知識を活用します。
広範な実験は、知識形式、数量、および利用方法論がLLMベースのバンドル生成パフォーマンスを集合的に形成する方法についての貴重な洞察を提供し、より効率的で効果的なLLMベースのバンドル生成のKDの重要な可能性を示しています。

要約(オリジナル)

LLMs are increasingly explored for bundle generation, thanks to their reasoning capabilities and knowledge. However, deploying large-scale LLMs introduces significant efficiency challenges, primarily high computational costs during fine-tuning and inference due to their massive parameterization. Knowledge distillation (KD) offers a promising solution, transferring expertise from large teacher models to compact student models. This study systematically investigates knowledge distillation approaches for bundle generation, aiming to minimize computational demands while preserving performance. We explore three critical research questions: (1) how does the format of KD impact bundle generation performance? (2) to what extent does the quantity of distilled knowledge influence performance? and (3) how do different ways of utilizing the distilled knowledge affect performance? We propose a comprehensive KD framework that (i) progressively extracts knowledge (patterns, rules, deep thoughts); (ii) captures varying quantities of distilled knowledge through different strategies; and (iii) exploits complementary LLM adaptation techniques (in-context learning, supervised fine-tuning, combination) to leverage distilled knowledge in small student models for domain-specific adaptation and enhanced efficiency. Extensive experiments provide valuable insights into how knowledge format, quantity, and utilization methodologies collectively shape LLM-based bundle generation performance, exhibiting KD’s significant potential for more efficient yet effective LLM-based bundle generation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google