LogoNet: a fine-grained network for instance-level logo sketch retrieval

要約

【タイトル】ロゴのスケッチ検索のための細粒度ネットワーク「LogoNet」

【要約】

– スケッチ検索は、スケッチを検索クエリとして、同じ検索対象を含む画像を検索することを目的とする。しかし、ロゴのスケッチ検索は、以下の課題により、通常のスケッチ検索よりも困難である。
– ロゴのスケッチは、不規則なストロークと線だけで、視覚的な内容が少ないため、一般的なスケッチ検索よりも難しい。
– 同じロゴのインスタンスをクエリする場合、見た目が大きく異なるため、同定しにくくなる。
– スケッチ検索のベンチマークデータセットはいくつか存在するが、インスタンスレベルのロゴスケッチのデータセットは公開されておらず、問題がある。
– 以上の制限を解決するため、本研究は以下の2つの貢献を行っている。
– 2,000個のロゴインスタンスと、9,000以上のスケッチを含むインスタンスレベルのロゴスケッチデータセットを構築した。これは、公に利用可能な最初のインスタンスレベルのロゴスケッチデータセットである。
– ハイブリッド注意機構に基づく細粒度トリプルブランチCNNアーキテクチャ「LogoNet」を開発し、正確なロゴスケッチ検索を実現した。LogoNetは、制限された視覚的手がかりからクエリ固有情報をキャプチャするためにハイブリッド注意メカニズムをトリプルブランチアーキテクチャに組み込んである。
– 構築されたデータセットおよび公開ベンチマークデータセットにおける実験的評価の結果、提案されたネットワークの有効性が示された。

要約(オリジナル)

Sketch-based image retrieval, which aims to use sketches as queries to retrieve images containing the same query instance, receives increasing attention in recent years. Although dramatic progress has been made in sketch retrieval, few efforts are devoted to logo sketch retrieval which is still hindered by the following challenges: Firstly, logo sketch retrieval is more difficult than typical sketch retrieval problem, since a logo sketch usually contains much less visual contents with only irregular strokes and lines. Secondly, instance-specific sketches demonstrate dramatic appearance variances, making them less identifiable when querying the same logo instance. Thirdly, there exist several sketch retrieval benchmarking datasets nowadays, whereas an instance-level logo sketch dataset is still publicly unavailable. To address the above-mentioned limitations, we make twofold contributions in this study for instance-level logo sketch retrieval. To begin with, we construct an instance-level logo sketch dataset containing 2k logo instances and exceeding 9k sketches. To our knowledge, this is the first publicly available instance-level logo sketch dataset. Next, we develop a fine-grained triple-branch CNN architecture based on hybrid attention mechanism termed LogoNet for accurate logo sketch retrieval. More specifically, we embed the hybrid attention mechanism into the triple-branch architecture for capturing the key query-specific information from the limited visual cues in the logo sketches. Experimental evaluations both on our assembled dataset and public benchmark datasets demonstrate the effectiveness of our proposed network.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI