EdiBERT, a generative model for image editing

要約

コンピュータビジョンの進歩により、画像操作の限界が押し上げられており、生成モデルがさまざまなタスクの詳細な画像をサンプリングしています。
ただし、多くの画像編集タスクは類似点を共有していますが、特定のタスクごとに特殊なモデルが開発およびトレーニングされることがよくあります。
ノイズ除去、修復、または画像合成では、常に低品質の画像からリアルな画像を生成することを目的としています。
この論文では、画像編集の統一されたアプローチに向けた一歩を踏み出すことを目指しています。
そのために、ベクトル量子化オートエンコーダーによって構築された離散潜在空間でトレーニングされた双方向トランスフォーマーであるEdiBERTを提案します。
このような双方向モデルは、任意のパッチを画像全体に条件付きで再サンプリングできるため、画像操作に適していると主張します。
このユニークでわかりやすいトレーニング目標を使用して、結果のモデルが、画像のノイズ除去、画像の完成、画像の合成など、さまざまなタスクでの最先端のパフォーマンスと一致することを示します。

要約(オリジナル)

Advances in computer vision are pushing the limits of im-age manipulation, with generative models sampling detailed images on various tasks. However, a specialized model is often developed and trained for each specific task, even though many image edition tasks share similarities. In denoising, inpainting, or image compositing, one always aims at generating a realistic image from a low-quality one. In this paper, we aim at making a step towards a unified approach for image editing. To do so, we propose EdiBERT, a bi-directional transformer trained in the discrete latent space built by a vector-quantized auto-encoder. We argue that such a bidirectional model is suited for image manipulation since any patch can be re-sampled conditionally to the whole image. Using this unique and straightforward training objective, we show that the resulting model matches state-of-the-art performances on a wide variety of tasks: image denoising, image completion, and image composition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google