CLIMB-3D: Continual Learning for Imbalanced 3D Instance Segmentation

要約

3Dインスタンスセグメンテーションは大きな進歩を遂げましたが、現在の方法は、自然なクラスの不均衡で新しいカテゴリが時間とともに現れる現実的なシナリオに対処するのに苦労しています。
この制限は、通常、バランスの取れたクラスがほとんどない既存のデータセットに由来しています。
不均衡なクラスの注釈を含むデータセットはほとんどありませんが、インクリメンタル設定の下での方法を評価するために必要な多様な増分シナリオがありません。
これらの課題に対処するには、漸進的な学習とクラスの不均衡の両方を処理するフレームワークが必要です。
ただし、3D増分セグメンテーションの既存の方法は、階級の不均衡を無視しながら、増分学習のみに焦点を当てて、大きな模範的なリプレイに大きく依存しています。
さらに、バランスの取れた学習のための周波数ベースのチューニングは、以前のクラス統計がないため、これらのセットアップでは非現実的です。
これらの制限を克服するために、\ textbf {c} ontinual \ textbf {l} for for \ textbf {3d}インスタンスセグメンテーション（\ textbf {crimb-3d}）の両方の\ tinual \ textbf {l} for class \ textbf {imb}の両方に取り組むフレームワークを提案します。
提案されたアプローチは、模範的なリプレイ（ER）、知識蒸留（KD）、および新しい不均衡補正（IC）モジュールを組み合わせています。
以前の方法とは異なり、私たちのフレームワークはERの使用を最小限に抑え、KDは過去のクラス統計をコンパイルする際にICモジュールの忘却を防ぎ、サポートして、インクリメンタル更新中に希少クラスの学習のバランスをとることができます。
フレームワークを評価するために、3D環境で実際のダイナミクスを反映することを目的としたクラスの頻度、セマンティックな類似性、およびランダムなグループ化に基づいて3つの増分シナリオを設計します。
実験結果は、提案されたフレームワークがベースラインと比較して最大16.76 \％のマップで最大16.76 \％の増加をもたらし、最先端のパフォーマンスを達成することを示しています。
コードは\ href {https://github.com/vgthengane/climb3d} {https://github.com/vgthengane/climb3d}で利用可能になります。

要約(オリジナル)

While 3D instance segmentation has made significant progress, current methods struggle to address realistic scenarios where new categories emerge over time with natural class imbalance. This limitation stems from existing datasets, which typically feature few well-balanced classes. Although few datasets include unbalanced class annotations, they lack the diverse incremental scenarios necessary for evaluating methods under incremental settings. Addressing these challenges requires frameworks that handle both incremental learning and class imbalance. However, existing methods for 3D incremental segmentation rely heavily on large exemplar replay, focusing only on incremental learning while neglecting class imbalance. Moreover, frequency-based tuning for balanced learning is impractical in these setups due to the lack of prior class statistics. To overcome these limitations, we propose a framework to tackle both \textbf{C}ontinual \textbf{L}earning and class \textbf{Imb}alance for \textbf{3D} instance segmentation (\textbf{CLIMB-3D}). Our proposed approach combines Exemplar Replay (ER), Knowledge Distillation (KD), and a novel Imbalance Correction (IC) module. Unlike prior methods, our framework minimizes ER usage, with KD preventing forgetting and supporting the IC module in compiling past class statistics to balance learning of rare classes during incremental updates. To evaluate our framework, we design three incremental scenarios based on class frequency, semantic similarity, and random grouping that aim to mirror real-world dynamics in 3D environments. Experimental results show that our proposed framework achieves state-of-the-art performance, with an increase of up to 16.76\% in mAP compared to the baseline. Code will be available at: \href{https://github.com/vgthengane/CLIMB3D}{https://github.com/vgthengane/CLIMB3D}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google