Can this Model Also Recognize Dogs? Zero-Shot Model Search from Weights

要約

公開されているモデルの数が増えているため、ユーザーが必要とするほとんどのタスクには、おそらく前提条件のオンラインモデルがあります。
ただし、現在のモデル検索方法は初歩的であり、本質的にドキュメントのテキストベースの検索であるため、ユーザーは関連するモデルを見つけることができません。
このペーパーでは、モデルメタデータやトレーニングデータへのアクセスなしで、「犬」などのターゲット概念を認識できる分類モデルを取得する方法であるProbelogを紹介します。
以前の調査方法とは異なる方法で、Probelogは、固定入力セット（プローブ）でその応答を観察することにより、各モデルの各出力寸法（ロジット）の記述子を計算します。
私たちの方法は、ロジットベースの検索（「このようなロジットを見つける」）とゼロショットのテキストベースの検索（「犬に対応するすべてのロジットを見つける」）の両方をサポートします。
プロービングベースの表現には、モデルを介した複数の費用のかかるフィードフォワードパスが必要なため、共同フィルタリングに基づいてメソッドを開発し、リポジトリをエンコードするコストを3倍に削減します。
Probelogは、現実世界と細粒の検索タスクの両方で高い検索精度を達成し、フルサイズのリポジトリにスケーラブルであることを実証します。

要約(オリジナル)

With the increasing numbers of publicly available models, there are probably pretrained, online models for most tasks users require. However, current model search methods are rudimentary, essentially a text-based search in the documentation, thus users cannot find the relevant models. This paper presents ProbeLog, a method for retrieving classification models that can recognize a target concept, such as ‘Dog’, without access to model metadata or training data. Differently from previous probing methods, ProbeLog computes a descriptor for each output dimension (logit) of each model, by observing its responses on a fixed set of inputs (probes). Our method supports both logit-based retrieval (‘find more logits like this’) and zero-shot, text-based retrieval (‘find all logits corresponding to dogs’). As probing-based representations require multiple costly feedforward passes through the model, we develop a method, based on collaborative filtering, that reduces the cost of encoding repositories by 3x. We demonstrate that ProbeLog achieves high retrieval accuracy, both in real-world and fine-grained search tasks and is scalable to full-size repositories.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google