ELAD: Explanation-Guided Large Language Models Active Distillation

要約

大規模言語モデル (LLM) の展開とアプリケーションは、メモリの非効率性、計算需要、API 推論のコストの高さによって妨げられています。
LLM の機能をより小さなモデルに移す従来の蒸留手法では、知識が十分に移されたかどうかを判断できないことが多く、高コストになったり、蒸留が不完全になったりする可能性があります。
このペーパーでは、アノテーションのコストとモデルのパフォーマンスのバランスを最適化するためにアクティブ ラーニング戦略を採用する説明ガイド付き LLM アクティブ蒸留 (ELAD) フレームワークを提案します。
効率的なサンプル選択を改善するために、説明ステップの不確実性を利用することで推論に疑問を呈するサンプルを特定する、説明ガイド付きサンプル選択方法を導入します。
さらに、教師モデルが生徒モデルの推論の欠陥を検出して修正する、カスタマイズされた LLM アノテーション付き説明改訂手法を紹介します。
さまざまな推論データセットにわたる実験により、私たちのフレームワークが LLM 知識の蒸留効率を大幅に向上させることが実証されました。

要約(オリジナル)

The deployment and application of Large Language Models (LLMs) is hindered by their memory inefficiency, computational demands, and the high costs of API inferences. Traditional distillation methods, which transfer the capabilities of LLMs to smaller models, often fail to determine whether the knowledge has been sufficiently transferred, potentially resulting in high costs or incomplete distillation. In this paper, we propose an Explanation-Guided LLMs Active Distillation (ELAD) framework that employs an active learning strategy to optimize the balance between annotation costs and model performance. To improve efficient sample selection, we introduce an explanation-guided sample selection method that identifies samples challenging its reasoning by exploiting uncertainties in explanation steps. Additionally, we present a customized LLM-annotated explanation revision technique where the teacher model detects and corrects flaws in the student model’s reasoning. Our experiments across various reasoning datasets demonstrate that our framework significantly enhances the efficiency of LLM knowledge distillation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google