Towards Layer-wise Image Vectorization

要約

画像ラスタライゼーションはコンピュータグラフィックスにおける成熟した技術であるが、ラスタライゼーションの逆経路である画像ベクトル化は大きな課題として残っている。最近の高度なディープラーニングに基づくモデルは、ベクトル化およびベクトルグラフの意味的補間を実現し、新しい図形を生成するのにより良いトポロジーを示している。しかし、ディープモデルは、領域外のテストデータに容易に一般化することができません。また、生成されたSVGは複雑で冗長な形状を含んでおり、さらなる編集にはかなり不都合である。特に、画像における重要なレイヤー単位のトポロジーと基本的なセマンティクスは、まだ十分に理解されていないため、十分に検討されていない。本研究では、ラスター画像をSVGに変換すると同時に、画像のトポロジーを維持するLayer-wise Image Vectorization（以下、LIVE）を提案する。LIVEは、人間の視点と意味的に一致するレイヤーワイズ構造を持つコンパクトなSVGフォームを生成することができる。我々は、新しいベジェパスを徐々に追加し、レイヤーワイズフレームワーク、新しく設計した損失関数、コンポーネントワイズパス初期化技術により、これらのパスを最適化する。実験により、LIVEは先行研究よりももっともらしいベクトル化された形を提示し、新しい画像に一般化できることが示された。この新しく学習されたトポロジーの助けを借りて、LIVEはデザイナーや他の下流のアプリケーションのために、人間が編集可能なSVGを開始する。コードは、https://github.com/Picsart-AI-Research/LIVE-Layerwise-Image-Vectorization で公開されています。

要約(オリジナル)

Image rasterization is a mature technique in computer graphics, while image vectorization, the reverse path of rasterization, remains a major challenge. Recent advanced deep learning-based models achieve vectorization and semantic interpolation of vector graphs and demonstrate a better topology of generating new figures. However, deep models cannot be easily generalized to out-of-domain testing data. The generated SVGs also contain complex and redundant shapes that are not quite convenient for further editing. Specifically, the crucial layer-wise topology and fundamental semantics in images are still not well understood and thus not fully explored. In this work, we propose Layer-wise Image Vectorization, namely LIVE, to convert raster images to SVGs and simultaneously maintain its image topology. LIVE can generate compact SVG forms with layer-wise structures that are semantically consistent with human perspective. We progressively add new bezier paths and optimize these paths with the layer-wise framework, newly designed loss functions, and component-wise path initialization technique. Our experiments demonstrate that LIVE presents more plausible vectorized forms than prior works and can be generalized to new images. With the help of this newly learned topology, LIVE initiates human editable SVGs for both designers and other downstream applications. Codes are made available at https://github.com/Picsart-AI-Research/LIVE-Layerwise-Image-Vectorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL