Towards Fundamentally Scalable Model Selection: Asymptotically Fast Update and Selection

要約

深層学習テクノロジーの進歩により、毎日新しいモデルが誕生し、スケーラブルなモデル選択の研究が促進されています。
理想的なモデル選択スキームでは、候補モデルの大規模なプールに対して少なくとも 2 つの操作を効率的にサポートする必要があります。1 つは新しい候補モデルの追加または既存の候補モデルの削除を含む更新、もう 1 つは特定のタスクに対して高パフォーマンスのモデルを見つけることを含む選択です。
ただし、モデル選択に対するこれまでのソリューションでは、これら 2 つの操作のうち少なくとも 1 つについて高い計算の複雑さが必要でした。
この作業では、漸近的に高速な更新と漸近的に高速な選択を同時にサポートする、基本的に (より) スケーラブルなモデルの選択をターゲットとしています。
まず、漸近的に高速な更新と選択をサポートするモデル選択スキームのファミリーである孤立モデル埋め込みを定義します。候補モデル $m$ の数に関して、更新の複雑さは O(1) で、選択は 1 回のスイープで構成されます。
O(1) モデル演算に加えて $m$ ベクトル。
分離モデルの埋め込みには、アプリケーションにとって望ましいいくつかの特性も含まれます。
次に、分離モデルの埋め込みを経験的に実現した標準化エンベッダーを紹介します。
これを使用して、分類タスク用に 100 個の事前トレーニングされた視覚モデルのプールから表現を選択し、選択したモデルと線形プローブ プロトコルで最適な候補との間のパフォーマンス ギャップを測定することで、その有効性を評価します。
実験は、私たちの実現が競争力のあるパフォーマンスを持つモデルを選択するのに効果的であることを示唆しており、基本的に（より）スケーラブルなモデル選択に向けた有望な方向として孤立したモデルの埋め込みを強調しています。

要約(オリジナル)

The advancement of deep learning technologies is bringing new models every day, motivating the study of scalable model selection. An ideal model selection scheme should minimally support two operations efficiently over a large pool of candidate models: update, which involves either adding a new candidate model or removing an existing candidate model, and selection, which involves locating highly performing models for a given task. However, previous solutions to model selection require high computational complexity for at least one of these two operations. In this work, we target fundamentally (more) scalable model selection that supports asymptotically fast update and asymptotically fast selection at the same time. Firstly, we define isolated model embedding, a family of model selection schemes supporting asymptotically fast update and selection: With respect to the number of candidate models $m$, the update complexity is O(1) and the selection consists of a single sweep over $m$ vectors in addition to O(1) model operations. Isolated model embedding also implies several desirable properties for applications. Secondly, we present Standardized Embedder, an empirical realization of isolated model embedding. We assess its effectiveness by using it to select representations from a pool of 100 pre-trained vision models for classification tasks and measuring the performance gaps between the selected models and the best candidates with a linear probing protocol. Experiments suggest our realization is effective in selecting models with competitive performances and highlight isolated model embedding as a promising direction towards model selection that is fundamentally (more) scalable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google