Bayesian Modeling of Zero-Shot Classifications for Urban Flood Detection

要約

ストリートビューまたはダッシュボードカメラから収集されたストリートシーンのデータセットは、都市のオブジェクトや街路洪水などのインシデントを検出する有望な手段を提供します。
ただし、これらのデータセットを使用する上での大きな課題は、信頼できるラベルの欠如です。無数のタイプのインシデントがあり、多くのタイプが発生することはほとんどありません。また、インシデントが発生した場所の根本的な測定が不足しています。
ここでは、この困難を回避する2段階のアプローチであるBayfloodを提案します。
まず、事前に守られた視覚言語モデル（VLM）を使用してインシデントが発生する場所のゼロショット分類を実行します。
第二に、VLM分類に空間ベイジアンモデルを適合させます。
ゼロショットアプローチは、大規模なトレーニングセットに注釈を付ける必要性を回避し、ベイジアンモデルは都市の設定で頻繁に設計されています – 不確実性の原則的な尺度、場所を滑らかにし、雨水蓄積ゾーンなどの外部データの組み込みを提供します。
この2段階のアプローチを包括的に検証し、VLMSが複数の都市と期間にわたって洪水に強いゼロショット信号を提供することを示し、ベイジアンモデルはベースライン方法と比較してサンプル外予測を改善し、推定される洪水リスクは既知の外部予測因子とリスクの外部予測因子と相関しています。
私たちのアプローチを検証して、都市の洪水の検出を改善するために使用できることを示します。分析では、現在の方法で見落とされがちな洪水のリスクが高い113,738人が明らかになり、既存の方法で人口統計学的バイアスを特定し、新しい洪水センサーの場所を提案します。
さらに広く言えば、我々の結果は、ゼロショットLMアノテーションのベイジアンモデリングが、大きなラベル付きデータセットを収集する必要性を回避し、ベイジアンモデルの表現力と不確実性の定量化を提供しながら基礎モデルの力を活用するため、有望なパラダイムをどのように表しているかを示しています。

要約(オリジナル)

Street scene datasets, collected from Street View or dashboard cameras, offer a promising means of detecting urban objects and incidents like street flooding. However, a major challenge in using these datasets is their lack of reliable labels: there are myriad types of incidents, many types occur rarely, and ground-truth measures of where incidents occur are lacking. Here, we propose BayFlood, a two-stage approach which circumvents this difficulty. First, we perform zero-shot classification of where incidents occur using a pretrained vision-language model (VLM). Second, we fit a spatial Bayesian model on the VLM classifications. The zero-shot approach avoids the need to annotate large training sets, and the Bayesian model provides frequent desiderata in urban settings – principled measures of uncertainty, smoothing across locations, and incorporation of external data like stormwater accumulation zones. We comprehensively validate this two-stage approach, showing that VLMs provide strong zero-shot signal for floods across multiple cities and time periods, the Bayesian model improves out-of-sample prediction relative to baseline methods, and our inferred flood risk correlates with known external predictors of risk. Having validated our approach, we show it can be used to improve urban flood detection: our analysis reveals 113,738 people who are at high risk of flooding overlooked by current methods, identifies demographic biases in existing methods, and suggests locations for new flood sensors. More broadly, our results showcase how Bayesian modeling of zero-shot LM annotations represents a promising paradigm because it avoids the need to collect large labeled datasets and leverages the power of foundation models while providing the expressiveness and uncertainty quantification of Bayesian models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google