CL2R: Compatible Lifelong Learning Representations

要約

この論文では、互換性のある生涯学習表現の問題に対して、自然知能を部分的に模倣する方法を提案します。
内部の特徴表現を更新しても、ギャラリー内の特徴がビジュアル検索に使用できなくなるような方法で、開かれた動的ユニバースのオブジェクト インスタンスを認識することに関心のある学習エージェントの視点を取ります。
この学習問題は、互換性のある生涯学習表現 (CL2R) と呼ばれます。これは、生涯学習パラダイム内で互換性のある表現学習を考慮するためです。
互換性を実現するために機能表現が保持する必要があるプロパティとして定常性を特定し、学習した表現のローカルおよびグローバルな定常性を促進する新しいトレーニング手順を提案します。
定常性により、学習した機能の統計的特性は時間の経過とともに変化せず、以前に学習した機能と相互運用できます。
標準的なベンチマーク データセットでの広範な実験により、CL2R トレーニング手順が代替ベースラインや最先端の​​方法よりも優れていることが示されています。
また、さまざまな逐次学習タスクにおける壊滅的な忘却下での互換性のある表現学習を具体的に評価するための新しいメトリックも提供します。
https://github.com/NiccoBiondi/CompatibleLifelongRepresentation のコード。

要約(オリジナル)

In this paper, we propose a method to partially mimic natural intelligence for the problem of lifelong learning representations that are compatible. We take the perspective of a learning agent that is interested in recognizing object instances in an open dynamic universe in a way in which any update to its internal feature representation does not render the features in the gallery unusable for visual search. We refer to this learning problem as Compatible Lifelong Learning Representations (CL2R) as it considers compatible representation learning within the lifelong learning paradigm. We identify stationarity as the property that the feature representation is required to hold to achieve compatibility and propose a novel training procedure that encourages local and global stationarity on the learned representation. Due to stationarity, the statistical properties of the learned features do not change over time, making them interoperable with previously learned features. Extensive experiments on standard benchmark datasets show that our CL2R training procedure outperforms alternative baselines and state-of-the-art methods. We also provide novel metrics to specifically evaluate compatible representation learning under catastrophic forgetting in various sequential learning tasks. Code at https://github.com/NiccoBiondi/CompatibleLifelongRepresentation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google