EcoWikiRS: Learning Ecological Representation of Satellite Images from Weak Supervision with Species Observations and Wikipedia

要約

種の存在は、土地被覆、気候条件、さらには土壌特性などの場所の生態学的特性に関する重要な洞察を提供します。
そのような生態学的特性を、種の生息地の記述に合わせて、リモートセンシング（RS）画像から直接予測する方法を提案します。
高解像度の航空画像、対応する地球浸漬種の観察、および各種について、ウィキペディアからの生息地のテキストの説明で構成されるEcowikirsデータセットを紹介します。
Ecowikirsは、生態学のRS Vision言語モデル（RS-VLMS）のスケーラブルな監督方法を提供します。
これは、たとえば、種のニッチの一部にのみ固有のプロパティまたは特定の画像とは無関係のテキストを説明する場合がある場合、弱くて騒々しい監督を備えた設定です。
Infonceの損失の加重バージョンであるWincelを提案することにより、これに取り組みます。
欧州自然情報システム（EUNIS）の生息地の定義に従って、生態系ゼロショット分類のタスクに関するモデルを評価します。
私たちの結果は、私たちのアプローチがより生態学的に意味のある方法でRS画像を理解するのに役立つことを示しています。
コードとデータセットは、https：//github.com/eceo-epfl/ecowikirsで入手できます。

要約(オリジナル)

The presence of species provides key insights into the ecological properties of a location such as land cover, climatic conditions or even soil properties. We propose a method to predict such ecological properties directly from remote sensing (RS) images by aligning them with species habitat descriptions. We introduce the EcoWikiRS dataset, consisting of high-resolution aerial images, the corresponding geolocated species observations, and, for each species, the textual descriptions of their habitat from Wikipedia. EcoWikiRS offers a scalable way of supervision for RS vision language models (RS-VLMs) for ecology. This is a setting with weak and noisy supervision, where, for instance, some text may describe properties that are specific only to part of the species’ niche or is irrelevant to a specific image. We tackle this by proposing WINCEL, a weighted version of the InfoNCE loss. We evaluate our model on the task of ecosystem zero-shot classification by following the habitat definitions from the European Nature Information System (EUNIS). Our results show that our approach helps in understanding RS images in a more ecologically meaningful manner. The code and the dataset are available at https://github.com/eceo-epfl/EcoWikiRS.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google