Detecting Cloud Presence in Satellite Images Using the RGB-based CLIP Vision-Language Model

要約

この研究では、雲の影響を受けた衛星画像を識別するための、事前トレーニングされた CLIP ビジョン言語モデルの機能を調査します。
モデルを使用して雲の存在検出を実行するためのいくつかのアプローチが提案され、評価されています。これには、テキスト プロンプトを使用した純粋なゼロショット操作やいくつかの微調整アプローチが含まれます。
さらに、さまざまなデータセットおよびセンサー タイプ (Sentinel-2 および Landsat-8) 間でのメソッドの移行可能性がテストされます。
その結果、CLIP は、センシング モダリティおよびセンシング バンド全体で一般化できる明らかな機能を備え、クラウド存在検出タスクで重要なパフォーマンスを達成できます。
また、低コストの微調整段階により真陰性率が大幅に増加することもわかりました。
この結果は、CLIP モデルによって学習された表現が、雲を含む衛星画像処理タスクに役立つことを示しています。

要約(オリジナル)

This work explores capabilities of the pre-trained CLIP vision-language model to identify satellite images affected by clouds. Several approaches to using the model to perform cloud presence detection are proposed and evaluated, including a purely zero-shot operation with text prompts and several fine-tuning approaches. Furthermore, the transferability of the methods across different datasets and sensor types (Sentinel-2 and Landsat-8) is tested. The results that CLIP can achieve non-trivial performance on the cloud presence detection task with apparent capability to generalise across sensing modalities and sensing bands. It is also found that a low-cost fine-tuning stage leads to a strong increase in true negative rate. The results demonstrate that the representations learned by the CLIP model can be useful for satellite image processing tasks involving clouds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google