To Cool or not to Cool? Temperature Network Meets Large Foundation Models via DRO

要約

温度パラメーターは、大規模言語モデル (LLM) や CLIP モデルなどの大規模基礎モデル (LFM) を使用したトレーニングや推論の際に重要な役割を果たします。
特に、次のトークン生成に重要な LLM のソフトマックス関数のロジットを調整し、CLIP モデルをトレーニングするためのコントラスト損失の類似性をスケーリングします。
重要な疑問が残っています。LFM を強化するために、入力データの個人化された温度を予測するニューラル ネットワークを学習することは可能でしょうか?
この論文では、LFM を改善するために小規模だが一般化可能な温度予測ネットワーク (TempNet) を学習するための原理的なフレームワークを紹介します。
私たちのソリューションは、制約付き分布ロバスト最適化 (DRO) によって裏付けられたロバストな損失を備えた新しい学習フレームワークと、理論的なインスピレーションを得て適切に設計された TempNet で構成されています。
TempNet は、大規模な基礎モデルと一緒に最初からトレーニングすることも、事前トレーニングされた基礎モデルを指定して個別に学習することもできます。
これは、個人の体温を予測して LFM のトレーニングを促進するのに役立つだけでなく、一般化して新しいタスクに移行することもできます。
LLM と CLIP モデルに関する私たちの実験は、TempNet が既存のソリューションやモデルのパフォーマンスを大幅に向上させることを示しています。
表 1. この論文の実験結果を再現するコードは、https://github.com/zhqiu/TempNet にあります。

要約(オリジナル)

The temperature parameter plays a profound role during training and/or inference with large foundation models (LFMs) such as large language models (LLMs) and CLIP models. Particularly, it adjusts the logits in the softmax function in LLMs, which is crucial for next token generation, and it scales the similarities in the contrastive loss for training CLIP models. A significant question remains: Is it viable to learn a neural network to predict a personalized temperature of any input data for enhancing LFMs’? In this paper, we present a principled framework for learning a small yet generalizable temperature prediction network (TempNet) to improve LFMs. Our solution is composed of a novel learning framework with a robust loss underpinned by constrained distributionally robust optimization (DRO), and a properly designed TempNet with theoretical inspiration. TempNet can be trained together with a large foundation model from scratch or learned separately given a pretrained foundation model. It is not only useful for predicting personalized temperature to promote the training of LFMs but also generalizable and transferable to new tasks. Our experiments on LLMs and CLIP models demonstrate that TempNet greatly improves the performance of existing solutions or models, e.g. Table 1. The code to reproduce the experimental results in this paper can be found at https://github.com/zhqiu/TempNet.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google