CoDEPS: Online Continual Learning for Depth Estimation and Panoptic Segmentation

要約

オープンワールドでロボットを操作するには、これまで見たことのない環境に対する高いレベルの堅牢性が必要です。
最適には、ロボットは人間の監督なしで新しい条件に自ら適応でき、たとえば、変化する照明条件に合わせて認識システムを自動的に調整できます。
この研究では、オンライン方式で新しい環境における深層学習ベースの単眼奥行き推定とパノプティックセグメンテーションのための継続学習のタスクに取り組みます。
CoDEPS を導入して、経験の再生を活用することで壊滅的な忘却を軽減しながら、複数の実世界のドメインを含む継続的な学習を実行します。
特に、パノプティックセグメンテーションに適応する擬似ラベルを生成する新しいドメイン混合戦略を提案します。
さらに、まれなセマンティッククラスのサンプリングと画像の多様性に基づいて固定サイズのリプレイバッファを構築するためのサンプリング戦略を活用することで、ロボットシステムの限られたストレージ容量に明示的に対処します。
私たちは、現実世界のさまざまなデータセットに対して CoDEPS の広範な評価を実行し、最先端の結果を達成しながら、以前のドメインのパフォーマンスを犠牲にすることなく、目に見えない環境にうまく適応できることを実証しました。
私たちの作業のコードは http://codeps.cs.uni-freiburg.de で公開されています。

要約(オリジナル)

Operating a robot in the open world requires a high level of robustness with respect to previously unseen environments. Optimally, the robot is able to adapt by itself to new conditions without human supervision, e.g., automatically adjusting its perception system to changing lighting conditions. In this work, we address the task of continual learning for deep learning-based monocular depth estimation and panoptic segmentation in new environments in an online manner. We introduce CoDEPS to perform continual learning involving multiple real-world domains while mitigating catastrophic forgetting by leveraging experience replay. In particular, we propose a novel domain-mixing strategy to generate pseudo-labels to adapt panoptic segmentation. Furthermore, we explicitly address the limited storage capacity of robotic systems by leveraging sampling strategies for constructing a fixed-size replay buffer based on rare semantic class sampling and image diversity. We perform extensive evaluations of CoDEPS on various real-world datasets demonstrating that it successfully adapts to unseen environments without sacrificing performance on previous domains while achieving state-of-the-art results. The code of our work is publicly available at http://codeps.cs.uni-freiburg.de.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google