Explainability of Deep Learning models for Urban Space perception

要約

ディープ ラーニング ベースのコンピューター ビジョン モデルは、都市環境を形成するための意思決定を支援するために、都市計画担当者によってますます使用されています。
このようなモデルは、人々が都市環境の質をどのように認識しているかを予測します。
その安全性または美しさ。
ただし、深層学習モデルのブラックボックスの性質により、都市計画者は、特に高品質または低品質の都市空間認識に寄与するランドスケープ オブジェクトを理解することができません。
この研究では、コンピューター ビジョン モデルを使用して、都市空間に対する人々の認識に関する関連する政策情報を抽出する方法を調査します。
そのために、広く使用されている 2 つのコンピューター ビジョン アーキテクチャをトレーニングします。
畳み込みニューラル ネットワークとトランスフォーマーを使用し、GradCAM (よく知られた事後説明可能な AI 手法) を適用して、モデルの予測に重要な画像領域を強調表示します。
これらの GradCAM ビジュアライゼーションを使用して、モデルの知覚予測に関連するオブジェクトに手動で注釈を付けます。
その結果、以前の研究でアノテーションに使用された現在のオブジェクト検出モデルでは表現されていない新しいオブジェクトを発見することができます。
さらに、私たちの方法論的結果は、変圧器アーキテクチャが GradCAM 技術と組み合わせて使用​​するのにより適していることを示唆しています。
コードは Github で入手できます。

要約(オリジナル)

Deep learning based computer vision models are increasingly used by urban planners to support decision making for shaping urban environments. Such models predict how people perceive the urban environment quality in terms of e.g. its safety or beauty. However, the blackbox nature of deep learning models hampers urban planners to understand what landscape objects contribute to a particularly high quality or low quality urban space perception. This study investigates how computer vision models can be used to extract relevant policy information about peoples’ perception of the urban space. To do so, we train two widely used computer vision architectures; a Convolutional Neural Network and a transformer, and apply GradCAM — a well-known ex-post explainable AI technique — to highlight the image regions important for the model’s prediction. Using these GradCAM visualizations, we manually annotate the objects relevant to the models’ perception predictions. As a result, we are able to discover new objects that are not represented in present object detection models used for annotation in previous studies. Moreover, our methodological results suggest that transformer architectures are better suited to be used in combination with GradCAM techniques. Code is available on Github.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google