Projected Latent Distillation for Data-Agnostic Consolidation in Distributed Continual Learning

要約

エッジでの分散学習は、多くの場合、ローカル タスクを個別に学習し、他の SDC のパフォーマンスに貢献することを望まない自己中心型デバイス (SCD) で構成されます。
単一の SCD をゼロコストで転送するにはどうすればよいですか?
この問題を、SCD がローカル タスクに適応し、CL モデルが SCD のプライベート データを見ずにモデルの結果のストリームからの知識を統合する、分散型継続的学習シナリオとして形式化します。
残念ながら、現在の CL メソッドはこのシナリオに直接適用できません。
元のデータを使用せずに SC モデルのストリームを統合する新しい二重知識蒸留法である Data-Agnostic Consolidation (DAC) を提案します。
DAC は、新しい予測潜在蒸留損失を介して潜在空間で蒸留を実行します。
実験結果は、DAC が SCD 間のフォワード転送を可能にし、リハーサルのないシナリオと分散 CL シナリオの両方で、Split CIFAR100、CORe50、および Split TinyImageNet で最先端の精度に達することを示しています。
やや驚くべきことに、統合中の唯一のデータ ソースとして、配布されていない 1 つのイメージでも十分です。

要約(オリジナル)

Distributed learning on the edge often comprises self-centered devices (SCD) which learn local tasks independently and are unwilling to contribute to the performance of other SDCs. How do we achieve forward transfer at zero cost for the single SCDs? We formalize this problem as a Distributed Continual Learning scenario, where SCD adapt to local tasks and a CL model consolidates the knowledge from the resulting stream of models without looking at the SCD’s private data. Unfortunately, current CL methods are not directly applicable to this scenario. We propose Data-Agnostic Consolidation (DAC), a novel double knowledge distillation method that consolidates the stream of SC models without using the original data. DAC performs distillation in the latent space via a novel Projected Latent Distillation loss. Experimental results show that DAC enables forward transfer between SCDs and reaches state-of-the-art accuracy on Split CIFAR100, CORe50 and Split TinyImageNet, both in reharsal-free and distributed CL scenarios. Somewhat surprisingly, even a single out-of-distribution image is sufficient as the only source of data during consolidation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google