Adaptive Variational Continual Learning via Task-Heuristic Modelling

要約

変分継続学習 (VCL) は、最高の継続学習モデルの中でも最先端のパフォーマンスを備えたターンキー学習アルゴリズムです。
私たちの研究では、情報に基づく学習とモデルの最適化のためのタスク ヒューリスティックを組み合わせた、AutoVCL と呼ばれる一般化変分継続学習 (GVCL) モデルの拡張を探索します。
前のタスクと比較した受信タスクの難易度や類似性に基づいたハイパーパラメーターの自動調整の恩恵を受けて、モデルが固定ハイパーパラメーターを使用した標準 GVCL よりも優れたパフォーマンスを発揮することを示します。

要約(オリジナル)

Variational continual learning (VCL) is a turn-key learning algorithm that has state-of-the-art performance among the best continual learning models. In our work, we explore an extension of the generalized variational continual learning (GVCL) model, named AutoVCL, which combines task heuristics for informed learning and model optimization. We demonstrate that our model outperforms the standard GVCL with fixed hyperparameters, benefiting from the automatic adjustment of the hyperparameter based on the difficulty and similarity of the incoming task compared to the previous tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google