The Championship-Winning Solution for the 5th CLVISION Challenge 2024

要約

このホワイトペーパーでは、従来のクラスの段階的学習を超えた独特の課題を提示する第 5 回 CLVision チャレンジに対する私たちのアプローチを紹介します。
標準設定とは異なり、このコンテストは以前に遭遇したクラスの繰り返しを特徴としており、配布外 (OOD) カテゴリを含む可能性のあるラベルのないデータが含まれます。
私たちのアプローチは、Winning Subnetworks に基づいており、クラス増分学習における壊滅的な忘却問題に対処するタスクごとに独立したパラメーター空間を割り当て、教師あり分類学習、教師なし対比学習、および擬似ラベル分類学習という 3 つのトレーニング戦略を採用して、クラスの情報を最大限に活用します。
ラベル付きデータとラベルなしデータの両方を使用して、各サブネットワークの分類パフォーマンスを向上させます。
さらに、推論段階で、サブネットワーク間の相互作用戦略を考案しました。特定のサンプルの特定のクラスの予測は、そのクラスに対応するさまざまなサブネットワークにわたる平均ロジットであり、繰り返しクラスに関するさまざまなサブネットワークから学習した知識を活用して、
分類の精度が向上します。
これらの戦略は、競技の 3 つのシナリオに同時に適用でき、競技シナリオの困難を効果的に解決できます。
実験的には、私たちの方法は事前選択段階と最終評価段階の両方で第 1 位にランクされ、事前選択段階の平均精度は 0.4535、最終評価段階の平均精度は 0.4805 でした。

要約(オリジナル)

In this paper, we introduce our approach to the 5th CLVision Challenge, which presents distinctive challenges beyond traditional class incremental learning. Unlike standard settings, this competition features the recurrence of previously encountered classes and includes unlabeled data that may contain Out-of-Distribution (OOD) categories. Our approach is based on Winning Subnetworks to allocate independent parameter spaces for each task addressing the catastrophic forgetting problem in class incremental learning and employ three training strategies: supervised classification learning, unsupervised contrastive learning, and pseudo-label classification learning to fully utilize the information in both labeled and unlabeled data, enhancing the classification performance of each subnetwork. Furthermore, during the inference stage, we have devised an interaction strategy between subnetworks, where the prediction for a specific class of a particular sample is the average logits across different subnetworks corresponding to that class, leveraging the knowledge learned from different subnetworks on recurring classes to improve classification accuracy. These strategies can be simultaneously applied to the three scenarios of the competition, effectively solving the difficulties in the competition scenarios. Experimentally, our method ranks first in both the pre-selection and final evaluation stages, with an average accuracy of 0.4535 during the preselection stage and an average accuracy of 0.4805 during the final evaluation stage.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google