Approximate Bayesian Class-Conditional Models under Continuous Representation Shift

要約

何らかの表現空間内の分類器で構成されるモデルの場合、非定常データ ストリームからオンラインで学習すると、表現の変更が必要になることがよくあります。
したがって、分類器を表現の変化に適応させる最善の方法は何かという疑問が生じます。
現在の方法は、分類器を表現シフトに徐々に変更するだけであり、分類器が表現に対してずれているため、学習にノイズが導入されます。
私たちは、この問題を解決するための経験的ベイズ手法である DeepCCG を提案します。
DeepCCG は、分類器が表現シフトに 1 ステップで適応するように、クラス条件付きガウス分類器の事後を更新することによって機能します。
クラス条件付きガウス分類器を使用すると、DeepCCG が対数条件付き周辺尤度損失を使用して表現を更新できるようになります。
分類器と表現の更新を実行するために、DeepCCG はメモリ内に固定数の例を維持します。そのため、DeepCCG の重要な部分は、どの例を保存するかを選択し、真の事後分布と、真の事後分布とによって引き起こされる事後分布との間の KL 発散を最小限に抑えるサブセットを選択することです。
サブセット。
私たちは、オンライン継続学習 (CL) における DeepCCG の動作を調査し、さまざまなオンライン CL 手法に対して良好なパフォーマンスを発揮すること、および表現シフトによるパフォーマンスの変化を軽減することを実証します。

要約(オリジナル)

For models consisting of a classifier in some representation space, learning online from a non-stationary data stream often necessitates changes in the representation. So, the question arises of what is the best way to adapt the classifier to shifts in representation. Current methods only slowly change the classifier to representation shift, introducing noise into learning as the classifier is misaligned to the representation. We propose DeepCCG, an empirical Bayesian approach to solve this problem. DeepCCG works by updating the posterior of a class conditional Gaussian classifier such that the classifier adapts in one step to representation shift. The use of a class conditional Gaussian classifier also enables DeepCCG to use a log conditional marginal likelihood loss to update the representation. To perform the update to the classifier and representation, DeepCCG maintains a fixed number of examples in memory and so a key part of DeepCCG is selecting what examples to store, choosing the subset that minimises the KL divergence between the true posterior and the posterior induced by the subset. We explore the behaviour of DeepCCG in online continual learning (CL), demonstrating that it performs well against a spectrum of online CL methods and that it reduces the change in performance due to representation shift.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google