Continual Barlow Twins: continual self-supervised learning for remote sensing semantic segmentation

要約

地球観測（EO）の分野では、大規模なデータセットを複数のサブセットに分解して漸進的に処理する継続学習（Continual Learning: CL）アルゴリズムが提案されている。これらのアルゴリズムの大部分は、データが(a)単一のソースから来ること、(b)完全にラベル付けされていることを前提としている。しかし、実世界のEOデータセットは、空撮、衛星、ドローンのシナリオから来るなど、大きな不均質性を特徴としており、ほとんどの場合、ラベル付けされていないので、新しい自己教師付き学習（SSL）パラダイムを通してのみ完全に利用することができることを意味します。このような理由から、本論文では、リモートセンシングアプリケーションのためにSSLとCLを融合する新しいアルゴリズムを提案し、Continual Barlow Twins (CBT) と呼ぶ。CBTは、最も単純な自己監視技術の一つであるBarlow Twinsの利点と、壊滅的な忘却を回避するためのElastic Weight Consolidation法を組み合わせたものである。さらに、我々は初めて、高度に異質なEOデータセットでSSL手法を評価し、EOにおける重要な下流タスクであるセマンティックセグメンテーションについて、ほぼ重複しない3つのドメインデータセット（空中ポツダムデータセット、衛星US3Dデータセット、ドローンUAVidデータセット）の新しい組合せでこれらの戦略の有効性を示す。また、ResNet50をベースとした、効果的な事前学習済み特徴抽出器を、全データの完全な利用可能性に依存することなく、インクリメンタルに作成することで、時間とリソースの貴重な節約を実現することができます。

要約(オリジナル)

In the field of Earth Observation (EO), Continual Learning (CL) algorithms have been proposed to deal with large datasets by decomposing them into several subsets and processing them incrementally. The majority of these algorithms assume that data is (a) coming from a single source, and (b) fully labeled. Real-world EO datasets are instead characterized by a large heterogeneity (e.g., coming from aerial, satellite, or drone scenarios), and for the most part they are unlabeled, meaning they can be fully exploited only through the emerging Self-Supervised Learning (SSL) paradigm. For these reasons, in this paper we propose a new algorithm for merging SSL and CL for remote sensing applications, that we call Continual Barlow Twins (CBT). It combines the advantages of one of the simplest self-supervision techniques, i.e., Barlow Twins, with the Elastic Weight Consolidation method to avoid catastrophic forgetting. In addition, for the first time we evaluate SSL methods on a highly heterogeneous EO dataset, showing the effectiveness of these strategies on a novel combination of three almost non-overlapping domains datasets (airborne Potsdam dataset, satellite US3D dataset, and drone UAVid dataset), on a crucial downstream task in EO, i.e., semantic segmentation. Encouraging results show the superiority of SSL in this setting, and the effectiveness of creating an incremental effective pretrained feature extractor, based on ResNet50, without the need of relying on the complete availability of all the data, with a valuable saving of time and resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL