KidSat: satellite imagery to map childhood poverty dataset and benchmark

要約

衛星画像は、人口統計、健康、開発指標を分析するための重要なツールとして浮上しています。
これらのタスク用にさまざまな深層学習モデルが構築されていますが、それぞれが特定の問題に特化しており、利用可能な標準ベンチマークはほとんどありません。
私たちは、衛星特徴表現のベンチマークとして、衛星画像と子どもの貧困に関する高品質の調査データを組み合わせた新しいデータセットを提案します。
私たちのデータセットは、1997 年から 2022 年の期間にアフリカ東部および南部の 19 か国から取得した、各 10 km $\times$ 10 km の 33,608 枚の画像で構成されています。
ユニセフの定義によると、多面的な子どもの貧困は 6 つの側面をカバーしており、対面の人口統計・健康調査 (DHS) プログラムから計算できます。
ベンチマークの一部として、目に見えない場所とトレーニング年数後のデータでテストすることにより、空間的および時間的一般化をテストします。
当社のデータセットを使用して、 MOSAIKS などの低レベルの衛星画像モデルから、ラベルなしの自己蒸留 (DINOv2) モデルなどの一般的なビジョン モデルと、
土曜日MAE。
私たちは、衛星データセットの構築、DHS からのグラウンド トゥルース データの取得、および作業で評価されたさまざまなモデルの実行のためのオープン ソース コードを提供します。

要約(オリジナル)

Satellite imagery has emerged as an important tool to analyse demographic, health, and development indicators. While various deep learning models have been built for these tasks, each is specific to a particular problem, with few standard benchmarks available. We propose a new dataset pairing satellite imagery and high-quality survey data on child poverty to benchmark satellite feature representations. Our dataset consists of 33,608 images, each 10 km $\times$ 10 km, from 19 countries in Eastern and Southern Africa in the time period 1997-2022. As defined by UNICEF, multidimensional child poverty covers six dimensions and it can be calculated from the face-to-face Demographic and Health Surveys (DHS) Program . As part of the benchmark, we test spatial as well as temporal generalization, by testing on unseen locations, and on data after the training years. Using our dataset we benchmark multiple models, from low-level satellite imagery models such as MOSAIKS , to deep learning foundation models, which include both generic vision models such as Self-Distillation with no Labels (DINOv2) models and specific satellite imagery models such as SatMAE. We provide open source code for building the satellite dataset, obtaining ground truth data from DHS and running various models assessed in our work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google