UnCLe: Unsupervised Continual Learning of Depth Completion

要約

我々は、マルチモーダル深度推定タスクの教師なし継続学習の標準化ベンチマークである UnCLe を提案します。深度補完は、同期された RGB 画像と疎な深度マップのペアから密な深度マップを推論することを目的としています。
データの連続ストリームに対する教師なし学習の実際的なシナリオの下で、深度補完モデルのベンチマークを行います。
既存のメソッドは通常、静的または定常的なデータセットでトレーニングされます。
しかし、新しい非定常分布に適応すると、以前に学習した情報を「壊滅的に忘れて」しまいます。
UnCLe は、さまざまな視覚センサーと距離センサーを使用して異なるドメインからキャプチャされた多様なシーンを含む一連のデータセットに深度補完モデルを適応させることで、これらの非定常分布をシミュレートします。
私たちは継続学習パラダイムから代表的な手法を採用し、それらを変換して深さ補完の教師なし継続学習を可能にします。
私たちはこれらのモデルを屋内と屋外でベンチマークし、標準的な定量的指標を通じて壊滅的な忘却の程度を調査します。
さらに、忘却の追加の尺度としてモデル反転品質を導入します。
私たちは、深度補完の教師なし継続学習が未解決の問題であることを発見し、研究者に UnCLe を開発プラットフォームとして活用するよう勧めています。

要約(オリジナル)

We propose UnCLe, a standardized benchmark for Unsupervised Continual Learning of a multimodal depth estimation task: Depth completion aims to infer a dense depth map from a pair of synchronized RGB image and sparse depth map. We benchmark depth completion models under the practical scenario of unsupervised learning over continuous streams of data. Existing methods are typically trained on a static, or stationary, dataset. However, when adapting to novel non-stationary distributions, they ‘catastrophically forget’ previously learned information. UnCLe simulates these non-stationary distributions by adapting depth completion models to sequences of datasets containing diverse scenes captured from distinct domains using different visual and range sensors. We adopt representative methods from continual learning paradigms and translate them to enable unsupervised continual learning of depth completion. We benchmark these models for indoor and outdoor and investigate the degree of catastrophic forgetting through standard quantitative metrics. Furthermore, we introduce model inversion quality as an additional measure of forgetting. We find that unsupervised continual learning of depth completion is an open problem, and we invite researchers to leverage UnCLe as a development platform.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google