Learning Representations on the Unit Sphere: Investigating Angular Gaussian and von Mises-Fisher Distributions for Online Continual Learning

要約

単位球上に分布する表現を学習するために、最大事後推定原理を使用します。
単位球面に投影されたガウス分布に対応する角度ガウス分布を使用し、関連する損失関数を導出する方法を提案します。
また、単位球におけるガウス分布の条件であるフォン・ミーゼス・フィッシャー分布も考慮します。
学習された表現は、ガウスの事前の手段である固定方向に向けて推進されます。
データのドリフトに強い学習戦略が可能になります。
これにより、オンライン継続学習に適しています。これは、連続データ ストリーム上でニューラル ネットワークをトレーニングする際の問題であり、複数の分類タスクが順番に提示されるため、過去のタスクからのデータにはアクセスできなくなり、現在のタスクからのデータは表示されます。
1回だけ。
この困難なシナリオに対処するために、新しい損失関数を備えた記憶ベースの表現学習手法を提案します。
私たちのアプローチは、負のデータやタスク境界の知識を必要とせず、計算効率が高く、より小さいバッチ サイズでも良好に実行されます。
広範な実験により、提案された手法が、標準的な評価シナリオとタスク境界があいまいな現実的なシナリオの両方で現在の最先端の手法よりも優れていることを実証します。
再現性を高めるため、比較したすべてのメソッドに同じトレーニング パイプラインを使用し、コードを https://github.com/Nicolas1203/ocl-fd で共有します。

要約(オリジナル)

We use the maximum a posteriori estimation principle for learning representations distributed on the unit sphere. We propose to use the angular Gaussian distribution, which corresponds to a Gaussian projected on the unit-sphere and derive the associated loss function. We also consider the von Mises-Fisher distribution, which is the conditional of a Gaussian in the unit-sphere. The learned representations are pushed toward fixed directions, which are the prior means of the Gaussians; allowing for a learning strategy that is resilient to data drift. This makes it suitable for online continual learning, which is the problem of training neural networks on a continuous data stream, where multiple classification tasks are presented sequentially so that data from past tasks are no longer accessible, and data from the current task can be seen only once. To address this challenging scenario, we propose a memory-based representation learning technique equipped with our new loss functions. Our approach does not require negative data or knowledge of task boundaries and performs well with smaller batch sizes while being computationally efficient. We demonstrate with extensive experiments that the proposed method outperforms the current state-of-the-art methods on both standard evaluation scenarios and realistic scenarios with blurry task boundaries. For reproducibility, we use the same training pipeline for every compared method and share the code at https://github.com/Nicolas1203/ocl-fd.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google