Paint it Black: Generating paintings from text descriptions

要約

2 つの異なるタスク – 与えられたテキスト プロンプトから写真のようにリアルな画像を生成することと、絵画のスタイルを実際の画像に移して、あたかも芸術家によって描かれたかのように見せること – は何度も取り上げられており、それらを達成するためのいくつかのアプローチが提案されています。
.
ただし、これら 2 つの交差点、つまり、特定のキャプションから絵画を生成することは、利用可能なデータがほとんどなく、比較的未踏の領域です。
このホワイト ペーパーでは、2 つの異なる戦略を検討し、それらを統合しました。
最初の戦略は、写真のようにリアルな画像を生成してからスタイル トランスファーを適用することです。2 つ目の戦略は、キャプション付きの実際の画像で画像生成モデルをトレーニングし、後でキャプション付きの絵画で微調整することです。
これら 2 つのモデルは、異なるメトリックを使用して評価され、生成された結果について人間のフィードバックを得るためにユーザー調査が実施されます。

要約(オリジナル)

Two distinct tasks – generating photorealistic pictures from given text prompts and transferring the style of a painting to a real image to make it appear as though it were done by an artist, have been addressed many times, and several approaches have been proposed to accomplish them. However, the intersection of these two, i.e., generating paintings from a given caption, is a relatively unexplored area with little data available. In this paper, we have explored two distinct strategies and have integrated them together. First strategy is to generate photorealistic images and then apply style transfer and the second strategy is to train an image generation model on real images with captions and then fine-tune it on captioned paintings later. These two models are evaluated using different metrics as well as a user study is conducted to get human feedback on the produced results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google