DAHiTrA: Damage Assessment Using a Novel Hierarchical Transformer Architecture

要約

本論文では、ハリケーン後の衛星画像に基づいて建物の損傷を分類するための、階層型変換器を用いた新しいディープラーニングモデルであるDAHiTrAを紹介します。自動化された建物被害評価は、迅速な緊急対応のための意思決定と資源配分に重要な情報を提供します。衛星画像はリアルタイムで高カバレッジの情報を提供し、大規模な災害後の建物被害評価に情報を提供する機会を提供します。また、ディープラーニングの手法は、建物の損傷を分類する上で有望であることが示されている。本研究では、建物の損傷を評価するための新しいトランスフォーマーベースのネットワークを提案する。このネットワークは、複数の解像度の階層的な空間特徴を活用し、空間特徴に変換エンコーダを適用した後、特徴領域における時間的な差異を捉える。提案するネットワークは、大規模災害被害データセット（xBD）を用いた建物の位置特定と被害分類、および、LEVIR-CDデータセットを用いた変化検出タスクにおいて、最先端の性能を達成する。さらに、データが乏しい新たな被災地に適用するモデルの能力をさらに評価するため、ドメイン適応のために新しい高解像度衛星画像データセットIda-BD（2021年にルイジアナ州で発生したハリケーンIdaに関連）を導入している。領域適応の結果、提案モデルは限られた微調整のみで新しいイベントに適応可能であることが示された。したがって、提案モデルは、より優れた性能と領域適応によって、現在の技術水準を向上させるものである。また、Ida-BDはこの分野の将来の研究のために、より高解像度のアノテーションデータセットを提供する。

要約(オリジナル)

This paper presents DAHiTrA, a novel deep-learning model with hierarchical transformers to classify building damages based on satellite images in the aftermath of hurricanes. An automated building damage assessment provides critical information for decision making and resource allocation for rapid emergency response. Satellite imagery provides real-time, high-coverage information and offers opportunities to inform large-scale post-disaster building damage assessment. In addition, deep-learning methods have shown to be promising in classifying building damage. In this work, a novel transformer-based network is proposed for assessing building damage. This network leverages hierarchical spatial features of multiple resolutions and captures temporal difference in the feature domain after applying a transformer encoder on the spatial features. The proposed network achieves state-of-the-art-performance when tested on a large-scale disaster damage dataset (xBD) for building localization and damage classification, as well as on LEVIR-CD dataset for change detection tasks. In addition, we introduce a new high-resolution satellite imagery dataset, Ida-BD (related to the 2021 Hurricane Ida in Louisiana in 2021, for domain adaptation to further evaluate the capability of the model to be applied to newly damaged areas with scarce data. The domain adaptation results indicate that the proposed model can be adapted to a new event with only limited fine-tuning. Hence, the proposed model advances the current state of the art through better performance and domain adaptation. Also, Ida-BD provides a higher-resolution annotated dataset for future studies in this field.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL