Learning with Style: Continual Semantic Segmentation Across Tasks and Domains

要約

実世界の設定で画像の理解を扱うディープ ラーニング モデルは、さまざまなドメインにわたるさまざまなタスクに適応できなければなりません。
ドメイン適応とクラス増分学習は、ドメインとタスクの変動性を別々に扱いますが、それらの統一されたソリューションはまだ未解決の問題です。
入力スペースとラベル スペースの両方におけるセマンティック シフトを考慮して、問題の両方の側面に一緒に取り組みます。
まず、タスクとドメインのシフトの下で継続的学習を正式に導入します。
次に、漸進的なタスクを学習するときにスタイル転送技術を使用してドメイン全体に知識を拡張し、堅牢な蒸留フレームワークを使用して、漸進的なドメインシフトの下でタスクの知識を効果的に思い出すことにより、提案されたセットアップに対処します。
考案されたフレームワーク (LwS、Learning with Style) は、遭遇したすべてのドメインにわたって漸進的に獲得されたタスク知識を一般化することができ、壊滅的な忘却に対して堅牢であることが証明されています。
複数の自動運転データセットに関する広範な実験的評価は、提案された方法が既存のアプローチよりも優れていることを示しています。既存のアプローチは、タスクとドメインの両方のシフトの下で継続的なセマンティック セグメンテーションに対処するのに不十分であることが証明されています。

要約(オリジナル)

Deep learning models dealing with image understanding in real-world settings must be able to adapt to a wide variety of tasks across different domains. Domain adaptation and class incremental learning deal with domain and task variability separately, whereas their unified solution is still an open problem. We tackle both facets of the problem together, taking into account the semantic shift within both input and label spaces. We start by formally introducing continual learning under task and domain shift. Then, we address the proposed setup by using style transfer techniques to extend knowledge across domains when learning incremental tasks and a robust distillation framework to effectively recollect task knowledge under incremental domain shift. The devised framework (LwS, Learning with Style) is able to generalize incrementally acquired task knowledge across all the domains encountered, proving to be robust against catastrophic forgetting. Extensive experimental evaluation on multiple autonomous driving datasets shows how the proposed method outperforms existing approaches, which prove to be ill-equipped to deal with continual semantic segmentation under both task and domain shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google