Discrete Key-Value Bottleneck

要約

ディープ ニューラル ネットワークは、データ ストリームが i.i.d. である分類タスクで優れたパフォーマンスを発揮します。
ラベル付きデータも豊富です。
継続学習などの非定常トレーニング データ ストリームでは課題が生じます。
この課題に対処する強力なアプローチの 1 つは、すぐに利用できる大量のデータで大規模なエンコーダーを事前トレーニングし、その後にタスク固有のチューニングを行うことです。
ただし、新しいタスクが与えられた場合、これらのエンコーダの重みを更新することは、多数の重みを微調整する必要があり、その結果、以前のタスクに関する情報を忘れてしまうため、困難です。
現在の研究では、個別の学習可能なキーと値のコードのペアを含む個別のボトルネックに基づいて、この問題に対処するモデル アーキテクチャを提案します。
私たちのパラダイムはエンコードすることになります。
個別のボトルネックを介して表現を処理します。
そしてデコードします。
ここでは、入力が事前トレーニングされたエンコーダーに供給され、エンコーダーの出力を使用して最も近いキーが選択され、対応する値がデコーダーに供給されて現在のタスクを解決します。
モデルは、推論中にこれらのキーと値のペアのまばらな数のみをフェッチして再利用できるため、ローカライズされたコンテキスト依存のモデル更新が可能になります。
私たちは、分散シフト下での学習の影響を最小限に抑える離散キーと値のボトルネックの能力を理論的に調査し、それが仮説クラスの複雑さを軽減することを示します。
我々は、困難なクラス増分学習シナリオの下で提案された方法を経験的に検証し、提案されたモデルがタスクの境界がなく、さまざまな事前トレーニング済みモデルにわたって壊滅的な忘却を削減し、このタスクで関連するベースラインを上回るパフォーマンスを示すことを示します。

要約(オリジナル)

Deep neural networks perform well on classification tasks where data streams are i.i.d. and labeled data is abundant. Challenges emerge with non-stationary training data streams such as continual learning. One powerful approach that has addressed this challenge involves pre-training of large encoders on volumes of readily available data, followed by task-specific tuning. Given a new task, however, updating the weights of these encoders is challenging as a large number of weights needs to be fine-tuned, and as a result, they forget information about the previous tasks. In the present work, we propose a model architecture to address this issue, building upon a discrete bottleneck containing pairs of separate and learnable key-value codes. Our paradigm will be to encode; process the representation via a discrete bottleneck; and decode. Here, the input is fed to the pre-trained encoder, the output of the encoder is used to select the nearest keys, and the corresponding values are fed to the decoder to solve the current task. The model can only fetch and re-use a sparse number of these key-value pairs during inference, enabling localized and context-dependent model updates. We theoretically investigate the ability of the discrete key-value bottleneck to minimize the effect of learning under distribution shifts and show that it reduces the complexity of the hypothesis class. We empirically verify the proposed method under challenging class-incremental learning scenarios and show that the proposed model – without any task boundaries – reduces catastrophic forgetting across a wide variety of pre-trained models, outperforming relevant baselines on this task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google