Self-supervised learning unveils change in urban housing from street-level images

要約

世界中の都市は、手頃な価格でまともな住宅の深刻な不足に直面しています。
政策にとって極めて重要であるにもかかわらず、都市住宅の進捗状況を効果的に監視し追跡する私たちの能力には限界があります。
街頭レベルの画像に適用された深層学習ベースのコンピューター ビジョン手法は、社会経済的および環境的不平等の測定には成功していますが、時間とともに変化するラベルが利用できないことが多いため、都市の変化を追跡するために時間画像を完全に活用することはできませんでした。
私たちは、2008 年から 2021 年の間に撮影された 1,500 万枚の街路画像を使用して、ロンドンの変化を測定するために自己監視手法を使用しました。 Barlow Twins を新たに適応させた Street2Vec は、手動による注釈なしで季節や毎日の変化に影響されずに都市構造を埋め込みます。
これは一般的な埋め込みよりも優れたパフォーマンスを発揮し、街頭レベルの画像からロンドンの住宅供給におけるポイントレベルの変化を特定することに成功し、大きな変化と小さな変化を区別しました。
この機能により、より住みやすく、公平で持続可能な都市に向けた都市計画や政策決定のためのタイムリーな情報を提供できます。

要約(オリジナル)

Cities around the world face a critical shortage of affordable and decent housing. Despite its critical importance for policy, our ability to effectively monitor and track progress in urban housing is limited. Deep learning-based computer vision methods applied to street-level images have been successful in the measurement of socioeconomic and environmental inequalities but did not fully utilize temporal images to track urban change as time-varying labels are often unavailable. We used self-supervised methods to measure change in London using 15 million street images taken between 2008 and 2021. Our novel adaptation of Barlow Twins, Street2Vec, embeds urban structure while being invariant to seasonal and daily changes without manual annotations. It outperformed generic embeddings, successfully identified point-level change in London’s housing supply from street-level images, and distinguished between major and minor change. This capability can provide timely information for urban planning and policy decisions toward more liveable, equitable, and sustainable cities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google