Wisdom of Committee: Distilling from Foundation Model to Specialized Application Model

要約

基礎モデルの最近の進歩により、幅広いタスクにわたって優れたパフォーマンスが得られました。
一方、特定のアプリケーションについては、専門家が特殊なアプリケーション モデルを開発してきました。
両方の種類のモデルの利点を享受するには、基礎モデルの知識を、一般にサービス提供の効率がより高い特殊なアプリケーション モデルに移行するのが自然な方法です。
ここでは、知識の蒸留による手法を適用することができ、アプリケーション モデルは基礎モデルを模倣することを学習します。
ただし、特殊なアプリケーション モデルと基盤モデルには、キャパシティに大きなギャップがあり、異なるアーキテクチャを採用し、異なるモダリティからの異なる入力機能を使用し、異なるディストリビューションで最適化されています。
モデル特性のこれらの違いは、蒸留方法にとって重大な課題につながります。
この取り組みでは、基礎モデル教師と補完教師の両方で構成される教育委員会を創設することを提案します。
補完的な教師は生徒と同様のモデル特性を備えており、基礎モデルと特殊なアプリケーション モデルの間のギャップを埋めて知識をよりスムーズに伝達することを目指しています。
さらに、委員会の教師間の相違に対応するために、生徒が各教師の専門知識を理解し、課題の知識を抽出できるようにする DiverseDistill を導入します。
私たちの評価は、補完的な教師を追加することで生徒の成績が向上することを示しています。
最後に、DiverseDistill は、教師の選択に関係なく、ベースラインの蒸留方法よりも常に優れたパフォーマンスを示し、その結果、生徒の成績が大幅に向上しました。

要約(オリジナル)

Recent advancements in foundation models have yielded impressive performance across a wide range of tasks. Meanwhile, for specific applications, practitioners have been developing specialized application models. To enjoy the benefits of both kinds of models, one natural path is to transfer the knowledge in foundation models into specialized application models, which are generally more efficient for serving. Techniques from knowledge distillation may be applied here, where the application model learns to mimic the foundation model. However, specialized application models and foundation models have substantial gaps in capacity, employing distinct architectures, using different input features from different modalities, and being optimized on different distributions. These differences in model characteristics lead to significant challenges for distillation methods. In this work, we propose creating a teaching committee comprising both foundation model teachers and complementary teachers. Complementary teachers possess model characteristics akin to the student’s, aiming to bridge the gap between the foundation model and specialized application models for a smoother knowledge transfer. Further, to accommodate the dissimilarity among the teachers in the committee, we introduce DiverseDistill, which allows the student to understand the expertise of each teacher and extract task knowledge. Our evaluations demonstrate that adding complementary teachers enhances student performance. Finally, DiverseDistill consistently outperforms baseline distillation methods, regardless of the teacher choices, resulting in significantly improved student performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google