Contrastive Pretraining for Visual Concept Explanations of Socioeconomic Outcomes

要約

深層学習を使用して衛星画像から社会経済指標を予測することは、ますます人気のある研究方向になってきています。
事後的な概念ベースの説明は、人間にとって直観的な視覚的な概念に基づいて社会経済的成果の解釈を可能にするため、政策立案においてこれらのモデルをより広範に採用するための重要なステップとなる可能性があります。
この論文では、社会経済研究における追加のタスク固有のコントラスト損失を使用した表現学習と事後概念の説明可能性の間の相互作用を研究します。
2 つの異なる地理的位置とタスクに関する結果は、タスク固有の事前トレーニングが社会経済的結果に従って潜在空間埋め込みの連続的な順序付けを課すことを示しています。
これにより、モデルの潜在空間が都市概念を社会経済的成果の連続間隔と関連付けることができるため、モデルの解釈可能性が向上します。
さらに、社会経済的成果の間隔に対するモデルの概念的感度を分析することで、都市研究に対する新たな洞察がどのように得られるかを説明します。

要約(オリジナル)

Predicting socioeconomic indicators from satellite imagery with deep learning has become an increasingly popular research direction. Post-hoc concept-based explanations can be an important step towards broader adoption of these models in policy-making as they enable the interpretation of socioeconomic outcomes based on visual concepts that are intuitive to humans. In this paper, we study the interplay between representation learning using an additional task-specific contrastive loss and post-hoc concept explainability for socioeconomic studies. Our results on two different geographical locations and tasks indicate that the task-specific pretraining imposes a continuous ordering of the latent space embeddings according to the socioeconomic outcomes. This improves the model’s interpretability as it enables the latent space of the model to associate urban concepts with continuous intervals of socioeconomic outcomes. Further, we illustrate how analyzing the model’s conceptual sensitivity for the intervals of socioeconomic outcomes can shed light on new insights for urban studies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google