Content-Based Search for Deep Generative Models

要約

カスタマイズおよび事前トレーニングされた生成モデルの急増により、ユーザーが存在するすべてのモデルを完全に認識することが不可能になりました。
このニーズに対処するために、コンテンツ ベースのモデル検索のタスクを導入します。つまり、クエリと大規模な生成モデルのセットが与えられ、クエリに最も一致するモデルを見つけます。
各生成モデルが画像の分布を生成するため、検索タスクを最適化問題として定式化し、クエリと同様のコンテンツを生成する確率が最も高いモデルを選択します。
画像、スケッチ、テキストなどのさまざまなモダリティからのクエリを考慮して、この確率を近似する公式を導入します。
さらに、モデル検索のための対照的な学習フレームワークを提案します。このフレームワークは、さまざまなクエリ モダリティに特徴を適応させることを学習します。
私たちの方法が、モデル検索タスク用に作成した新しいベンチマークである Generative Model Zoo のいくつかのベースラインを上回るパフォーマンスを示します。

要約(オリジナル)

The growing proliferation of customized and pretrained generative models has made it infeasible for a user to be fully cognizant of every model in existence. To address this need, we introduce the task of content-based model search: given a query and a large set of generative models, finding the models that best match the query. As each generative model produces a distribution of images, we formulate the search task as an optimization problem to select the model with the highest probability of generating similar content as the query. We introduce a formulation to approximate this probability given the query from different modalities, e.g., image, sketch, and text. Furthermore, we propose a contrastive learning framework for model retrieval, which learns to adapt features for various query modalities. We demonstrate that our method outperforms several baselines on Generative Model Zoo, a new benchmark we create for the model retrieval task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google