要約
都市中心部またはその周辺の非公式住宅地として定義される都市村は、不十分なインフラと劣悪な生活環境を特徴とし、貧困、適切な住宅、持続可能な都市に関する持続可能な開発目標（SDGs）と密接に関連しています。
従来、政府は都市部の村落を監視するために現地調査手法に大きく依存していましたが、時間と労力がかかり、遅れが生じる可能性があります。
広く利用可能でタイムリーに更新される衛星画像のおかげで、最近の研究では都市部の村を効率的に検出するためのコンピューター ビジョン技術が開発されています。
しかし、既存の研究は単純な都市部の村の画像分類に焦点を当てているか、正確な境界情報を提供できていません。
衛星画像から都市部の村の境界を正確に特定するために、ビジョン基盤モデルの力を活用し、UV-SAM と呼ばれるセグメント エニシング モデル (SAM) を都市部の村のセグメンテーションに適応させます。
具体的には、UV-SAM はまず小規模のセマンティック セグメンテーション モデルを活用して、都市部の村向けにマスク、境界ボックス、画像表現などの混合プロンプトを生成します。これらは次に、きめ細かい境界識別のために SAM に入力されます。
中国の 2 つのデータセットに関する広範な実験結果は、UV-SAM が既存のベースラインを上回るパフォーマンスを示し、複数年にわたる識別結果は、都市部の村の数と面積の両方が時間の経過とともに減少していることを示し、都市部の村と小屋の開発傾向についてのより深い洞察を提供します。
持続可能な都市のためのビジョン基盤モデルに光を当てる。
この研究のデータセットとコードは https://github.com/tsinghua-fib-lab/UV-SAM で入手できます。
要約(オリジナル)
Urban villages, defined as informal residential areas in or around urban centers, are characterized by inadequate infrastructures and poor living conditions, closely related to the Sustainable Development Goals (SDGs) on poverty, adequate housing, and sustainable cities. Traditionally, governments heavily depend on field survey methods to monitor the urban villages, which however are time-consuming, labor-intensive, and possibly delayed. Thanks to widely available and timely updated satellite images, recent studies develop computer vision techniques to detect urban villages efficiently. However, existing studies either focus on simple urban village image classification or fail to provide accurate boundary information. To accurately identify urban village boundaries from satellite images, we harness the power of the vision foundation model and adapt the Segment Anything Model (SAM) to urban village segmentation, named UV-SAM. Specifically, UV-SAM first leverages a small-sized semantic segmentation model to produce mixed prompts for urban villages, including mask, bounding box, and image representations, which are then fed into SAM for fine-grained boundary identification. Extensive experimental results on two datasets in China demonstrate that UV-SAM outperforms existing baselines, and identification results over multiple years show that both the number and area of urban villages are decreasing over time, providing deeper insights into the development trends of urban villages and sheds light on the vision foundation models for sustainable cities. The dataset and codes of this study are available at https://github.com/tsinghua-fib-lab/UV-SAM.
arxiv情報
| 著者 | Xin Zhang,Yu Liu,Yuming Lin,Qingming Liao,Yong Li |
| 発行日 | 2024-01-16 03:21:42+00:00 |
| arxivサイト | arxiv_id(pdf) |
提供元, 利用サービス
arxiv.jp, Google