CLVOS23: A Long Video Object Segmentation Dataset for Continual Learning

要約

タイトル：CLVOS23：継続的学習のための長時間動画オブジェクトセグメンテーションデータセット

要約：
– 現実世界のシナリオにおける継続的学習は大きな課題である。
– 一般的な継続的学習モデルは、定数のメモリサイズと予め定義されたタスク境界を持たないべきである。
– この論文では、準教師あり動画オブジェクトセグメンテーション(VOS)の問題を継続的学習問題として定式化し、CLVOS23という公開データセットを提供する。
– また、LWLという既存のオンラインVOSベースラインに対して、正則化を基にした継続的学習アプローチを提案し、その有効性を示す。
– このベースラインを長時間動画データセットだけでなく、DAVIS16とDAVIS17の2つの短時間VOSデータセットにも適用し、CLVOS23のベースラインを確立する。
– これは、VOSが継続的学習問題として定義され、取り組まれたのは初めてのことである。

要約(オリジナル)

Continual learning in real-world scenarios is a major challenge. A general continual learning model should have a constant memory size and no predefined task boundaries, as is the case in semi-supervised Video Object Segmentation (VOS), where continual learning challenges particularly present themselves in working on long video sequences. In this article, we first formulate the problem of semi-supervised VOS, specifically online VOS, as a continual learning problem, and then secondly provide a public VOS dataset, CLVOS23, focusing on continual learning. Finally, we propose and implement a regularization-based continual learning approach on LWL, an existing online VOS baseline, to demonstrate the efficacy of continual learning when applied to online VOS and to establish a CLVOS23 baseline. We apply the proposed baseline to the Long Videos dataset as well as to two short video VOS datasets, DAVIS16 and DAVIS17. To the best of our knowledge, this is the first time that VOS has been defined and addressed as a continual learning problem.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI