MambaPainter: Neural Stroke-Based Rendering in a Single Step

要約

ストロークベースのレンダリングは、ブラシ ストロークのシーケンスを予測することによって、入力イメージを油絵スタイルに再構築することを目的としています。
従来の方法では、この予測をストロークごとに実行するか、予測可能なストローク数の制限により複数の推論ステップが必要になります。
この手順では翻訳速度が非効率になり、実用性が制限されます。
この研究では、1 回の推論ステップで 100 を超えるブラシ ストロークのシーケンスを予測し、迅速な翻訳を実現できる MambaPainter を提案します。
この配列予測は、選択的状態空間モデルを組み込むことによって実現されます。
さらに、パッチベースのレンダリングにシンプルな拡張機能を導入しました。これを使用して高解像度の画像を変換し、計算コストの増加を最小限に抑えながら視覚的な品質を向上させます。
実験結果は、MambaPainter が最先端の方法と比較して入力を油絵スタイルの画像に効率的に変換できることを示しています。
コードは https://github.com/STomoya/MambaPainter で入手できます。

要約(オリジナル)

Stroke-based rendering aims to reconstruct an input image into an oil painting style by predicting brush stroke sequences. Conventional methods perform this prediction stroke-by-stroke or require multiple inference steps due to the limitations of a predictable number of strokes. This procedure leads to inefficient translation speed, limiting their practicality. In this study, we propose MambaPainter, capable of predicting a sequence of over 100 brush strokes in a single inference step, resulting in rapid translation. We achieve this sequence prediction by incorporating the selective state-space model. Additionally, we introduce a simple extension to patch-based rendering, which we use to translate high-resolution images, improving the visual quality with a minimal increase in computational cost. Experimental results demonstrate that MambaPainter can efficiently translate inputs to oil painting-style images compared to state-of-the-art methods. The codes are available at https://github.com/STomoya/MambaPainter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google