Forward-Backward Knowledge Distillation for Continual Clustering

要約

教師なし継続学習 (UCL) は機械学習の急成長分野であり、明示的なラベル情報なしでニューラル ネットワークがタスクを順次学習できるようにすることに重点を置いています。
モデルが新しいタスクを学習すると以前に学習したタスクを忘れてしまう壊滅的忘却 (CF) は、特にデータのラベル付けされた情報にアクセスできない UCL において、継続的な学習において重大な課題を引き起こします。
知識の蒸留や再生バッファーなどの CF 軽減戦略は、多くの場合、メモリーの非効率性とプライバシーの問題に直面します。
UCL の現在の研究では、データ表現を改良し、ストリーミング データ コンテキストにおける CF に対処するよう努めていますが、教師なしクラスタリング用に特別に設計されたアルゴリズムが著しく不足しています。
このギャップを埋めるために、このホワイト ペーパーでは、教師なし連続クラスタリング (UCC) の概念を紹介します。
私たちは、UCC のコンテキスト内で CF に対抗するために、教師なし連続クラスタリング (FBCC) のための前方後方知識蒸留を提案します。
FBCC は、CF 問題に対処するために、クラスター プロジェクターを備えた 1 人の継続学習者 (「教師」) と複数の生徒モデルを採用しています。
提案された方法は 2 つのフェーズで構成されます。前方知識蒸留では、教師が専門の学生モデルの指導を受けて以前のタスクからの知識を保持しながら新しいクラスターを学習します。もう一方、後方知識蒸留では、学生モデルが教師の行動を模倣してタスク固有の知識を保持します。
、その後のタスクで教師を支援します。
FBCC は、UCC に対する先駆的なアプローチであり、さまざまなタスクにわたるクラスタリングにおけるパフォーマンスとメモリ効率の向上を実証し、最先端の UCL アルゴリズムの潜在空間へのクラスタリング アルゴリズムの適用を上回ります。

要約(オリジナル)

Unsupervised Continual Learning (UCL) is a burgeoning field in machine learning, focusing on enabling neural networks to sequentially learn tasks without explicit label information. Catastrophic Forgetting (CF), where models forget previously learned tasks upon learning new ones, poses a significant challenge in continual learning, especially in UCL, where labeled information of data is not accessible. CF mitigation strategies, such as knowledge distillation and replay buffers, often face memory inefficiency and privacy issues. Although current research in UCL has endeavored to refine data representations and address CF in streaming data contexts, there is a noticeable lack of algorithms specifically designed for unsupervised clustering. To fill this gap, in this paper, we introduce the concept of Unsupervised Continual Clustering (UCC). We propose Forward-Backward Knowledge Distillation for unsupervised Continual Clustering (FBCC) to counteract CF within the context of UCC. FBCC employs a single continual learner (the “teacher”) with a cluster projector, along with multiple student models, to address the CF issue. The proposed method consists of two phases: Forward Knowledge Distillation, where the teacher learns new clusters while retaining knowledge from previous tasks with guidance from specialized student models, and Backward Knowledge Distillation, where a student model mimics the teacher’s behavior to retain task-specific knowledge, aiding the teacher in subsequent tasks. FBCC marks a pioneering approach to UCC, demonstrating enhanced performance and memory efficiency in clustering across various tasks, outperforming the application of clustering algorithms to the latent space of state-of-the-art UCL algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google