Inverse Painting: Reconstructing The Painting Process

要約

入力された絵画が与えられると、それがどのように描かれたかを示すタイムラプス ビデオを再構築します。
私たちはこれを、最初は空白の「キャンバス」が繰り返し更新される自己回帰画像生成問題として定式化します。
モデルは、多くのペイント ビデオでトレーニングすることで、本物のアーティストから学びます。
私たちのアプローチには、テキストと領域の理解を組み込んで一連のペイント「指示」を定義し、新しい拡散ベースのレンダラーでキャンバスを更新します。
この方法は、トレーニングの対象となった限られたアクリル スタイルの絵画を超えて推定し、幅広い芸術スタイルやジャンルに対して妥当な結果を示します。

要約(オリジナル)

Given an input painting, we reconstruct a time-lapse video of how it may have been painted. We formulate this as an autoregressive image generation problem, in which an initially blank ‘canvas’ is iteratively updated. The model learns from real artists by training on many painting videos. Our approach incorporates text and region understanding to define a set of painting ‘instructions’ and updates the canvas with a novel diffusion-based renderer. The method extrapolates beyond the limited, acrylic style paintings on which it has been trained, showing plausible results for a wide range of artistic styles and genres.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google