Foreground Object Search by Distilling Composite Image Feature

要約

前景オブジェクト検索 (FOS) は、特定の背景画像に対して互換性のある前景オブジェクトを見つけて、リアルな合成画像を生成することを目的としています。
弁別器を使用して合成画像の互換性を予測することで、競争力のある検索パフォーマンスを達成できることがわかりましたが、このアプローチには手が届かないほどの時間コストがかかります。
この目的を達成するために、我々は蒸留複合機能による新しい FOS 手法 (DiscoFOS) を提案します。
具体的には、上記の識別器が教師ネットワークとして機能する。
学生ネットワークは 2 つのエンコーダーを使用して、前景の特徴と背景の特徴を抽出します。
インタラクション出力は、教師ネットワークからの合成画像特徴と一致するように強制されます。
さらに、以前の研究ではデータセットがリリースされていなかったので、合成合成画像を含む S-FOSD データセットと実際の合成画像を含む R-FOSD データセットの 2 つのデータセットを FOS タスクに提供しました。
2 つのデータセットに対する広範な実験により、提案された方法が以前のアプローチよりも優れていることが実証されました。
データセットとコードは https://github.com/bcmi/Foreground-Object-Search-Dataset-FOSD で入手できます。

要約(オリジナル)

Foreground object search (FOS) aims to find compatible foreground objects for a given background image, producing realistic composite image. We observe that competitive retrieval performance could be achieved by using a discriminator to predict the compatibility of composite image, but this approach has unaffordable time cost. To this end, we propose a novel FOS method via distilling composite feature (DiscoFOS). Specifically, the abovementioned discriminator serves as teacher network. The student network employs two encoders to extract foreground feature and background feature. Their interaction output is enforced to match the composite image feature from the teacher network. Additionally, previous works did not release their datasets, so we contribute two datasets for FOS task: S-FOSD dataset with synthetic composite images and R-FOSD dataset with real composite images. Extensive experiments on our two datasets demonstrate the superiority of the proposed method over previous approaches. The dataset and code are available at https://github.com/bcmi/Foreground-Object-Search-Dataset-FOSD.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google