CRS-Diff: Controllable Generative Remote Sensing Foundation Model

要約

拡散モデルの出現は画像生成の分野に革命をもたらし、さまざまなアプリケーションにわたって高品質、高解像度の画像を作成するための新しい方法を提供しました。
ただし、ドメイン固有の画像、特にリモート センシング (RS) 画像を生成するこれらのモデルの可能性は、ほとんど開発されていないままです。
RS 画像は、その高解像度、広範なカバー範囲、豊富な情報コンテンツで注目に値し、一般的な普及モデルでは適切に対処できない可能性のある新たな課題をもたらします。
この論文では、リモート センシング画像の生成に特化した先駆的な拡散モデリング フレームワークである CRS-Diff を提案します。これは、拡散モデルの固有の利点を活用しながら、高度な制御メカニズムを統合して、画像が視覚的に鮮明であるだけでなく、地理的および時間的情報が豊富であることを保証します。
。
このモデルはグローバル制御入力とローカル制御入力を統合し、生成条件を正確に組み合わせて生成プロセスを改良できるようにします。
CRS-Diff の包括的な評価により、画質と多様性の点で、以前の方法と比較して、単一条件と複数条件の両方で RS 画像を生成する優れた機能が実証されました。

要約(オリジナル)

The emergence of diffusion models has revolutionized the field of image generation, providing new methods for creating high-quality, high-resolution images across various applications. However, the potential of these models for generating domain-specific images, particularly remote sensing (RS) images, remains largely untapped. RS images that are notable for their high resolution, extensive coverage, and rich information content, bring new challenges that general diffusion models may not adequately address. This paper proposes CRS-Diff, a pioneering diffusion modeling framework specifically tailored for generating remote sensing imagery, leveraging the inherent advantages of diffusion models while integrating advanced control mechanisms to ensure that the imagery is not only visually clear but also enriched with geographic and temporal information. The model integrates global and local control inputs, enabling precise combinations of generation conditions to refine the generation process. A comprehensive evaluation of CRS-Diff has demonstrated its superior capability to generate RS imagery both in a single condition and multiple conditions compared with previous methods in terms of image quality and diversity.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google