RealFill: Reference-Driven Generation for Authentic Image Completion

要約

最近の生成画像の進歩により、未知の領域に高品質でもっともらしい画像コンテンツを生成できるアウトペイントおよびインペイント モデルが生み出されましたが、モデルには実際のシーンに関する十分なコンテキストが欠けているため、これらのモデルが幻覚を示すコンテンツは必然的に本物ではありません。
この研究では、画像の欠落領域をそこにあるべきコンテンツで埋める、画像完成のための新しい生成的アプローチである RealFill を提案します。
RealFill は、シーンの少数の参照イメージのみを使用してパーソナライズされる生成修復モデルです。
これらの参照画像はターゲット画像と位置合わせする必要はなく、視点、照明条件、カメラの絞り、または画像スタイルを大幅に変更して撮影できます。
RealFill をパーソナライズすると、元のシーンに忠実な視覚的に魅力的なコンテンツを含むターゲット画像を完成させることができます。
一連の多様で困難なシナリオをカバーする新しい画像補完ベンチマークで RealFill を評価したところ、既存のアプローチよりも大幅に優れていることがわかりました。
プロジェクト ページでその他の結果をご覧ください: https://realfill.github.io

要約(オリジナル)

Recent advances in generative imagery have brought forth outpainting and inpainting models that can produce high-quality, plausible image content in unknown regions, but the content these models hallucinate is necessarily inauthentic, since the models lack sufficient context about the true scene. In this work, we propose RealFill, a novel generative approach for image completion that fills in missing regions of an image with the content that should have been there. RealFill is a generative inpainting model that is personalized using only a few reference images of a scene. These reference images do not have to be aligned with the target image, and can be taken with drastically varying viewpoints, lighting conditions, camera apertures, or image styles. Once personalized, RealFill is able to complete a target image with visually compelling contents that are faithful to the original scene. We evaluate RealFill on a new image completion benchmark that covers a set of diverse and challenging scenarios, and find that it outperforms existing approaches by a large margin. See more results on our project page: https://realfill.github.io

arxiv情報

提供元, 利用サービス

arxiv.jp, Google