Model Spider: Learning to Rank Pre-Trained Models Efficiently

要約

豊富なモデル リソースを活用するには、モデル ズーのどの事前トレーニング モデル (PTM) がターゲット タスクに適合するかを判断することが不可欠です。
さまざまな分野から多数の異種 PTM が利用可能であるため、すべての PTM にわたって前方パスまたは後方パスを実行するには時間のかかるコストがかかるため、最適な PTM を効率的に選択することは困難です。
この論文では、効率的な PTM 選択を可能にするために、PTM とタスクの特性をベクトルに要約することによって PTM とタスクの両方をトークン化する Model Spider を提案します。
別のトレーニング タスクのセットに対する PTM の近似パフォーマンスを活用することで、Model Spider はトークンを構築し、そのトークンを介してモデルとタスクのペア間の適合性スコアを測定することを学習します。
関連する PTM を他の PTM よりも上位にランク付けする機能は、新しいタスクに一般化されます。
上位にランクされた PTM 候補を使用して、より適切に選択できるように PTM を再ランク付けするために、PTM 固有のセマンティクスでタスク トークンを強化する方法をさらに学習します。
Model Spider は効率と選択能力のバランスをとり、蜘蛛の巣を捕食するように PTM 選択を行います。
Model Spider は、さまざまな構成の動物園モデルで有望なパフォーマンスを示します。

要約(オリジナル)

Figuring out which Pre-Trained Model (PTM) from a model zoo fits the target task is essential to take advantage of plentiful model resources. With the availability of numerous heterogeneous PTMs from diverse fields, efficiently selecting the most suitable PTM is challenging due to the time-consuming costs of carrying out forward or backward passes over all PTMs. In this paper, we propose Model Spider, which tokenizes both PTMs and tasks by summarizing their characteristics into vectors to enable efficient PTM selection. By leveraging the approximated performance of PTMs on a separate set of training tasks, Model Spider learns to construct tokens and measure the fitness score between a model-task pair via their tokens. The ability to rank relevant PTMs higher than others generalizes to new tasks. With the top-ranked PTM candidates, we further learn to enrich task tokens with their PTM-specific semantics to re-rank the PTMs for better selection. Model Spider balances efficiency and selection ability, making PTM selection like a spider preying on a web. Model Spider demonstrates promising performance in various configurations of model zoos.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google