Content-Based Search for Deep Generative Models

要約

学習済み生成モデルの増加により、ユーザが存在する全てのモデルを完全に認識することは不可能になっている。このニーズに対応するため、我々はコンテンツに基づくモデル検索というタスクを導入する：クエリと生成モデルの大規模なセットが与えられたとき、クエリに最もマッチするモデルを見つける。各生成モデルは画像の分布を生成するため、我々は検索問題を、あるモデルが与えられたときにクエリにマッチする画像を生成する確率を最大化するための最適化として定式化する。クエリが画像、スケッチ、テキスト記述、他の生成モデル、または上記の組み合わせである場合、この問題を扱いやすくするための近似を開発した。我々は、生成モデルの集合に対して、精度と速度の両面から本手法のベンチマークを行った。その結果、画像編集と再構成、少数ショット転送学習、潜在空間補間に適したモデルが検索されることを示す。最後に、我々の検索アルゴリズムを、オンライン生成モデル共有プラットフォーム（https://modelverse.cs.cmu.edu）に導入する。

要約(オリジナル)

The growing proliferation of pretrained generative models has made it infeasible for a user to be fully cognizant of every model in existence. To address this need, we introduce the task of content-based model search: given a query and a large set of generative models, find the models that best match the query. Because each generative model produces a distribution of images, we formulate the search problem as an optimization to maximize the probability of generating a query match given a model. We develop approximations to make this problem tractable when the query is an image, a sketch, a text description, another generative model, or a combination of the above. We benchmark our method in both accuracy and speed over a set of generative models. We demonstrate that our model search retrieves suitable models for image editing and reconstruction, few-shot transfer learning, and latent space interpolation. Finally, we deploy our search algorithm to our online generative model-sharing platform at https://modelverse.cs.cmu.edu.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL