CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation

要約

オープン ワールドでロボットを操作するには、これまで見えなかった環境に対する高度な堅牢性が必要です。
最適には、ロボットは人間の監視なしに新しい条件に自動的に適応できます。たとえば、照明条件の変化に合わせて知覚システムを自動的に調整します。
この作業では、新しい環境でのディープラーニングベースの単眼深​​度推定とパノプティックセグメンテーションのための継続的な学習のタスクをオンラインで扱います。
CoDEPS を導入して、経験のリプレイを活用することで壊滅的な忘却を軽減しながら、複数の現実世界のドメインを含む継続的な学習を実行します。
特に、パノプティック セグメンテーションに適応する擬似ラベルを生成するための新しいドメイン混合戦略を提案します。
さらに、まれなセマンティック クラス サンプリングと画像の多様性に基づいて固定サイズのリプレイ バッファーを構築するためのサンプリング戦略を提案することにより、ロボット システムの限られたストレージ容量に明示的に対処します。
さまざまな実世界のデータセットで CoDEPS の広範な評価を実行し、最先端の結果を達成しながら、以前のドメインでのパフォーマンスを犠牲にすることなく、目に見えない環境にうまく適応することを示しています。
私たちの作業のコードは、http://codeps.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

Operating a robot in the open world requires a high level of robustness with respect to previously unseen environments. Optimally, the robot is able to adapt by itself to new conditions without human supervision, e.g., automatically adjusting its perception system to changing lighting conditions. In this work, we address the task of continual learning for deep learning-based monocular depth estimation and panoptic segmentation in new environments in an online manner. We introduce CoDEPS to perform continual learning involving multiple real-world domains while mitigating catastrophic forgetting by leveraging experience replay. In particular, we propose a novel domain-mixing strategy to generate pseudo-labels to adapt panoptic segmentation. Furthermore, we explicitly address the limited storage capacity of robotic systems by proposing sampling strategies for constructing a fixed-size replay buffer based on rare semantic class sampling and image diversity. We perform extensive evaluations of CoDEPS on various real-world datasets demonstrating that it successfully adapts to unseen environments without sacrificing performance on previous domains while achieving state-of-the-art results. The code of our work is publicly available at http://codeps.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google