IBCL: Zero-shot Model Generation for Task Trade-offs in Continual Learning

要約

一般的なマルチタスク学習と同様、継続学習には多目的最適化の性質があるため、さまざまなタスクのパフォーマンス間のトレードオフに直面します。
つまり、現在のタスク分散を最適化するには、以前のいくつかのタスクのパフォーマンスを犠牲にする必要がある場合があります。
これは、異なる時点でパレート最適となる複数のモデルが存在し、それぞれが異なるタスク パフォーマンスのトレードオフに対処していることを意味します。
研究者は、特定のトレードオフの好みに対処するために特定のモデルをトレーニングする方法について議論しました。
ただし、既存のアルゴリズムでは、設定の数に比例したトレーニングのオーバーヘッドが必要です。これは、複数の、場合によっては無限に多くの設定がある場合に大きな負担となります。
対応策として、私たちは不正確なベイジアン継続学習 (IBCL) を提案します。
新しいタスクが発生すると、IBCL は (1) モデル パラメーター分布の凸包の形式で知識ベースを更新し、(2) ゼロショットでタスクのトレードオフの優先順位に対処する特定のモデルを取得します。
つまり、IBCL では、知識ベースからプリファレンス アドレッシング モデルを生成するために追加のトレーニング オーバーヘッドを必要としません。
IBCL によって取得されたモデルには、パレート最適パラメーターの特定が保証されていることを示します。
さらに、標準的な画像分類と NLP タスクに関する実験がこの保証を裏付けています。
統計的には、IBCL はベースライン手法と比較して、タスクごとの平均精度を最大 23%、タスクごとのピーク精度を最大 15% 向上させ、確実にほぼゼロまたは正の逆方向転送を実現します。
最も重要なことは、IBCL はトレーニングのオーバーヘッドを、設定ごとに 1 つのモデルをトレーニングすることから、すべての設定に対して最大 3 つのモデルに大幅に削減することです。

要約(オリジナル)

Like generic multi-task learning, continual learning has the nature of multi-objective optimization, and therefore faces a trade-off between the performance of different tasks. That is, to optimize for the current task distribution, it may need to compromise performance on some previous tasks. This means that there exist multiple models that are Pareto-optimal at different times, each addressing a distinct task performance trade-off. Researchers have discussed how to train particular models to address specific trade-off preferences. However, existing algorithms require training overheads proportional to the number of preferences — a large burden when there are multiple, possibly infinitely many, preferences. As a response, we propose Imprecise Bayesian Continual Learning (IBCL). Upon a new task, IBCL (1) updates a knowledge base in the form of a convex hull of model parameter distributions and (2) obtains particular models to address task trade-off preferences with zero-shot. That is, IBCL does not require any additional training overhead to generate preference-addressing models from its knowledge base. We show that models obtained by IBCL have guarantees in identifying the Pareto optimal parameters. Moreover, experiments on standard image classification and NLP tasks support this guarantee. Statistically, IBCL improves average per-task accuracy by at most 23\% and peak per-task accuracy by at most 15\% with respect to the baseline methods, with steadily near-zero or positive backward transfer. Most importantly, IBCL significantly reduces the training overhead from training 1 model per preference to at most 3 models for all preferences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google