AttentionPainter: An Efficient and Adaptive Stroke Predictor for Scene Painting

要約

ストロークベース レンダリング (SBR) は、入力イメージをパラメータ化されたストロークのシーケンスに分解し、入力イメージに似た絵画をレンダリングできるようにすることを目的としています。
最近、ディープラーニングと強化学習モデルを利用してストロークシーケンスを予測するニューラルペインティング手法が開発されましたが、推論時間が長くなる、またはトレーニングが不安定になるという問題があります。
これらの問題に対処するために、単一ステップのニューラル ペインティングのための効率的で適応性のあるモデルである AttendancePainter を提案します。
まず、新しいスケーラブルなストローク予測子を提案します。これは、以前の強化学習や自己回帰手法の反復予測の代わりに、単一の順方向プロセス内で多数のストローク パラメーターを予測します。これにより、AttendancePainter が以前のニューラル ペインティング手法よりも高速になります。
トレーニング効率をさらに高めるために、トレーニングを 13 倍高速化する Fast Stroke Stacking アルゴリズムを提案します。
さらに、再構成の品質を向上させるために、モデルが詳細な情報に小さなストロークを使用することを促進するストローク密度損失を提案します。
最後に、条件付きおよび無条件の両方のストロークベース生成のための新しいストローク拡散モデルを提案します。これは、ストロークパラメータ空間のノイズを除去し、人間のアーティストのデザインに役立つストロークベースの修復および編集アプリケーションを容易にします。
広範囲にわたる実験により、AttendancePainter が最先端のニューラル ペインティング手法よりも優れたパフォーマンスを発揮することが示されています。

要約(オリジナル)

Stroke-based Rendering (SBR) aims to decompose an input image into a sequence of parameterized strokes, which can be rendered into a painting that resembles the input image. Recently, Neural Painting methods that utilize deep learning and reinforcement learning models to predict the stroke sequences have been developed, but suffer from longer inference time or unstable training. To address these issues, we propose AttentionPainter, an efficient and adaptive model for single-step neural painting. First, we propose a novel scalable stroke predictor, which predicts a large number of stroke parameters within a single forward process, instead of the iterative prediction of previous Reinforcement Learning or auto-regressive methods, which makes AttentionPainter faster than previous neural painting methods. To further increase the training efficiency, we propose a Fast Stroke Stacking algorithm, which brings 13 times acceleration for training. Moreover, we propose Stroke-density Loss, which encourages the model to use small strokes for detailed information, to help improve the reconstruction quality. Finally, we propose a new stroke diffusion model for both conditional and unconditional stroke-based generation, which denoises in the stroke parameter space and facilitates stroke-based inpainting and editing applications helpful for human artists design. Extensive experiments show that AttentionPainter outperforms the state-of-the-art neural painting methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google