Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings

要約

ヒューマン スケッチは、さまざまな視覚的理解タスク (検索、セグメンテーション、画像キャプションなど) でその価値をすでに証明しています。
この論文では、スケッチの新しい特徴を明らかにします – それらはまた顕著であるということです。
スケッチは本質的に自然な注意深いプロセスであるため、これは直感的です。
より具体的には、スケッチを弱いラベルとして使用して、画像内に存在する顕著なオブジェクトを検出する方法を研究することを目指しています。
この目的のために、「顕著なオブジェクト」が手描きのスケッチによってどのように説明できるかを強調する新しい方法を提案します。
これを達成するために、2Dアテンションメカニズムを通じて、特定のビジュアル写真に対応するシーケンシャルスケッチ座標を生成することを目的とした、写真からスケッチへの生成モデルを導入します。
時間ステップ全体で蓄積されたアテンション マップは、その過程で顕著な領域を生じさせます。
広範な定量的および定性的な実験により、私たちの仮説が証明され、スケッチベースの顕著性検出モデルが最先端のモデルと比較して競争力のあるパフォーマンスを提供する方法が明らかになりました。

要約(オリジナル)

Human sketch has already proved its worth in various visual understanding tasks (e.g., retrieval, segmentation, image-captioning, etc). In this paper, we reveal a new trait of sketches – that they are also salient. This is intuitive as sketching is a natural attentive process at its core. More specifically, we aim to study how sketches can be used as a weak label to detect salient objects present in an image. To this end, we propose a novel method that emphasises on how ‘salient object’ could be explained by hand-drawn sketches. To accomplish this, we introduce a photo-to-sketch generation model that aims to generate sequential sketch coordinates corresponding to a given visual photo through a 2D attention mechanism. Attention maps accumulated across the time steps give rise to salient regions in the process. Extensive quantitative and qualitative experiments prove our hypothesis and delineate how our sketch-based saliency detection model gives a competitive performance compared to the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google