Mitigating Urban-Rural Disparities in Contrastive Representation Learning with Satellite Imagery

要約

衛星画像は、気候、経済、公衆衛生にわたる多くの社会的に重要なタスクに活用されています。
ただし、景観の不均一性 (場所によって道路の見え方など) が原因で、モデルは地理的領域にわたって異なるパフォーマンスを示す可能性があります。
社会的文脈で使用されるアルゴリズムシステムにおける格差の重要な可能性を考慮して、ここでは土地被覆特徴の特定における都市と農村の格差のリスクを検討します。
これは、対比自己教師あり学習によって生成された事前トレーニング済みの画像表現を使用するセマンティック セグメンテーション (表示されている内容に応じて画像領域にラベルを付ける一般的なコンピューター ビジョン タスク) を介して行われます。
畳み込みニューラル ネットワーク モデルのマルチレベル潜在空間のバイアスを軽減する方法として、対比学習による公正な密表現 (FairDCL) を提案します。
この方法は、都市部と農村部にバラバラに分布する偽のモデル表現を除去することで特徴の識別を向上させます。これは、対比的な事前トレーニングによって教師なしの方法で実現されます。
取得された画像表現は、下流の都市部と農村部の予測格差を軽減し、現実世界の衛星画像の最先端のベースラインを上回ります。
埋め込み空間の評価とアブレーションの研究により、FairDCL の堅牢性がさらに実証されています。
地理画像の一般化性と堅牢性は初期のトピックであるため、私たちの研究は、研究者がそのようなアプリケーションで平均精度を超えるメトリクスを考慮するように動機付けています。

要約(オリジナル)

Satellite imagery is being leveraged for many societally critical tasks across climate, economics, and public health. Yet, because of heterogeneity in landscapes (e.g. how a road looks in different places), models can show disparate performance across geographic areas. Given the important potential of disparities in algorithmic systems used in societal contexts, here we consider the risk of urban-rural disparities in identification of land-cover features. This is via semantic segmentation (a common computer vision task in which image regions are labelled according to what is being shown) which uses pre-trained image representations generated via contrastive self-supervised learning. We propose fair dense representation with contrastive learning (FairDCL) as a method for de-biasing the multi-level latent space of convolution neural network models. The method improves feature identification by removing spurious model representations which are disparately distributed across urban and rural areas, and is achieved in an unsupervised way by contrastive pre-training. The obtained image representation mitigates downstream urban-rural prediction disparities and outperforms state-of-the-art baselines on real-world satellite images. Embedding space evaluation and ablation studies further demonstrate FairDCL’s robustness. As generalizability and robustness in geographic imagery is a nascent topic, our work motivates researchers to consider metrics beyond average accuracy in such applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google