Instance Segmentation of Scene Sketches Using Natural Image Priors

要約

スケッチセグメンテーションには、同じオブジェクトまたはインスタンスに属するスケッチ内でピクセルをグループ化することが含まれます。
特定のコンポーネントの移動、スケーリング、削除など、タスクを編集するための貴重なツールとして機能します。
画像セグメンテーションモデルは近年顕著な能力を示していますが、スケッチは、スタイルのまばらな性質と広いバリエーションのために、これらのモデルの独特の課題を提示しています。
たとえば、ラスターシーンスケッチのセグメンテーションの方法であるSketchSegを紹介します。
私たちのアプローチは、深度キューを使用してクラスに依存しない微調整および精製セグメンテーションマスクを採用することにより、最先端の画像セグメンテーションとオブジェクト検出モデルをスケッチドメインに適応させます。
さらに、この方法では、スケッチをソート付きレイヤーに整理します。ここでは、閉塞されたインスタンスが塗装されているため、高度なスケッチ編集アプリケーションを可能にします。
このドメインの既存のデータセットにはスケッチスタイルのバリエーションがないため、多様なブラシストロークとさまざまなレベルの詳細を備えたスケッチを特徴とする合成シーンスケッチセグメンテーションデータセットを作成します。
このデータセットを使用してアプローチの堅牢性を示し、それをリリースして、フィールドでのさらなる研究を促進します。
プロジェクトWebページ：https：//sketchseg.github.io/sketch-seg/

要約(オリジナル)

Sketch segmentation involves grouping pixels within a sketch that belong to the same object or instance. It serves as a valuable tool for sketch editing tasks, such as moving, scaling, or removing specific components. While image segmentation models have demonstrated remarkable capabilities in recent years, sketches present unique challenges for these models due to their sparse nature and wide variation in styles. We introduce SketchSeg, a method for instance segmentation of raster scene sketches. Our approach adapts state-of-the-art image segmentation and object detection models to the sketch domain by employing class-agnostic fine-tuning and refining segmentation masks using depth cues. Furthermore, our method organizes sketches into sorted layers, where occluded instances are inpainted, enabling advanced sketch editing applications. As existing datasets in this domain lack variation in sketch styles, we construct a synthetic scene sketch segmentation dataset featuring sketches with diverse brush strokes and varying levels of detail. We use this dataset to demonstrate the robustness of our approach and will release it to promote further research in the field. Project webpage: https://sketchseg.github.io/sketch-seg/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google