HPCR: Holistic Proxy-based Contrastive Replay for Online Continual Learning

要約

オンライン継続学習 (OCL) は、オンライン データ ストリーム上の単一パスから新しいデータを継続的に学習することを目的としています。
一般に、致命的な物忘れの問題に悩まされています。
既存の再生ベースの方法は、プロキシ ベースまたはコントラスト ベースの再生方法で古いデータの一部を再生することで、この問題を効果的に軽減します。
このペーパーでは、これら 2 つのリプレイ方法の包括的な分析を実施し、それらが補完的である可能性があることを発見しました。
この発見に触発されて、我々は、プロキシベースのコントラストリプレイ（PCR）と呼ばれる新しいリプレイベースの方法を提案します。これは、コントラストベースの損失においてアンカーとサンプルのペアをアンカーとプロキシのペアに置き換えて、忘却現象を軽減します。
。
PCR に基づいて、私たちはさらに、3 つのコンポーネントで構成されるホリスティック プロキシベースのコントラスト リプレイ (HPCR) と呼ばれる、より高度な方法を開発しました。
コントラスト コンポーネントは条件付きでアンカーとサンプルのペアを PCR に組み込み、大規模なトレーニング バッチでより詳細なセマンティック情報を学習します。
2 つ目は、勾配への影響に基づいて温度係数を 2 つの部分に分離し、より新しい知識を学習できるように異なる値を設定する温度コンポーネントです。
3 つ目は、より歴史的な知識を保持するために学習プロセスを制約する蒸留コンポーネントです。
4 つのデータセットに関する実験では、さまざまな最先端の方法に対する HPCR の優位性が一貫して実証されています。

要約(オリジナル)

Online continual learning (OCL) aims to continuously learn new data from a single pass over the online data stream. It generally suffers from the catastrophic forgetting issue. Existing replay-based methods effectively alleviate this issue by replaying part of old data in a proxy-based or contrastive-based replay manner. In this paper, we conduct a comprehensive analysis of these two replay manners and find they can be complementary. Inspired by this finding, we propose a novel replay-based method called proxy-based contrastive replay (PCR), which replaces anchor-to-sample pairs with anchor-to-proxy pairs in the contrastive-based loss to alleviate the phenomenon of forgetting. Based on PCR, we further develop a more advanced method named holistic proxy-based contrastive replay (HPCR), which consists of three components. The contrastive component conditionally incorporates anchor-to-sample pairs to PCR, learning more fine-grained semantic information with a large training batch. The second is a temperature component that decouples the temperature coefficient into two parts based on their impacts on the gradient and sets different values for them to learn more novel knowledge. The third is a distillation component that constrains the learning process to keep more historical knowledge. Experiments on four datasets consistently demonstrate the superiority of HPCR over various state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google