Generating Synthetic Satellite Imagery With Deep-Learning Text-to-Image Models — Technical Challenges and Implications for Monitoring and Verification

要約

新しいディープラーニング (DL) アーキテクチャは、実際のデータと区別するのが難しいフォトリアリスティックな画像を含むデジタル メディアを生成できるレベルに達しました。
これらのテクノロジーはすでに機械学習 (ML) モデルのトレーニング データの生成に使用されており、DALL-E 2、Imagen、Stable Diffusion などの大規模なテキストから画像への変換モデルは、現実的な高解像度画像の生成で目覚ましい成果を上げています。
こうした展開を考慮すると、モニタリングと検証におけるデータ認証の問題は、注意深く系統的に分析する価値があります。合成画像はどの程度現実的ですか?
どれくらい簡単に生成できるのでしょうか？
これらは ML 研究者にとってどの程度役立ちますか?また、オープン サイエンスにとってどのような可能性があるのでしょうか?
この研究では、新しい DL モデルを使用して、調整メカニズムを使用して合成衛星画像を作成する方法を検討します。
私たちは合成衛星画像生成の課題を調査し、信頼性と最先端の指標に基づいて結果を評価します。
さらに、リモート センシングの ML 手法のコンテキストで合成データがデータ不足をどのように軽減できるかを調査します。
最後に、監視と検証の文脈における合成衛星画像の影響について説明します。

要約(オリジナル)

Novel deep-learning (DL) architectures have reached a level where they can generate digital media, including photorealistic images, that are difficult to distinguish from real data. These technologies have already been used to generate training data for Machine Learning (ML) models, and large text-to-image models like DALL-E 2, Imagen, and Stable Diffusion are achieving remarkable results in realistic high-resolution image generation. Given these developments, issues of data authentication in monitoring and verification deserve a careful and systematic analysis: How realistic are synthetic images? How easily can they be generated? How useful are they for ML researchers, and what is their potential for Open Science? In this work, we use novel DL models to explore how synthetic satellite images can be created using conditioning mechanisms. We investigate the challenges of synthetic satellite image generation and evaluate the results based on authenticity and state-of-the-art metrics. Furthermore, we investigate how synthetic data can alleviate the lack of data in the context of ML methods for remote-sensing. Finally we discuss implications of synthetic satellite imagery in the context of monitoring and verification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google