Transforming Transformers for Resilient Lifelong Learning

要約

壊滅的な忘却を伴わない生涯学習（すなわちレジリエンシー）は、ディープニューラルネットワークにとって依然として未解決の問題である。先行技術のほとんどは畳み込みニューラルネットワークに焦点を当てている。ディープラーニングにおけるトランスフォーマーの優位性が高まる中、トランスフォーマーを用いた生涯学習の研究は急務である。生涯学習のためには、実際にトランスフォーマーを学習させることが複雑であるため、当然疑問が生じる：Transformerは、タスクを意識した方法で成長するように学習できるのだろうか？つまり、ストリーミングタスクではパラメータが重いが安定したコンポーネントを保持しながら、軽量で学習可能なプラスチックコンポーネントをアーキテクチャに導入することで動的に変換できるのだろうか？そのために、人間の脳の海馬の機能によって維持されている生涯学習能力に動機づけられ、我々はトランスフォーマーにおける人工海馬（ArtiHippo）とは何か、どのように実装するかを探求する。(i)ストリーミングタスクにおけるViTsのコア機能を維持しながら可塑性を可能にするために、ArtiHippoをどこに配置するか？(ii) 生涯学習における様々な性質の課題に取り組むための表現力と適応性を確保するために、ArtiHippoをどのように表現し実現するか？(iii) タスクの相乗効果（すなわち学習された知識）を利用し、壊滅的な忘却を克服するために、どのようにArtiHippoを成長させるように学習するか？(iv)提案するArtiHippoとプロンプトに基づくアプローチの長所をどのように利用するか？実験では、難易度の高いVDD(Visual Domain Decathlon)ベンチマークと、タスク増加型生涯学習設定の5-Datasetベンチマークで提案手法をテストした。その結果、ArtiHippoが学習し続けた先行技術よりも、一貫して優れた性能が得られた。我々の知る限り、これは難易度の高いVDDベンチマークにおけるViTを用いた生涯学習の最初の試みである。

要約(オリジナル)

Lifelong learning without catastrophic forgetting (i.e., resiliency) remains an open problem for deep neural networks. The prior art mostly focuses on convolutional neural networks. With the increasing dominance of Transformers in deep learning, it is a pressing need to study lifelong learning with Transformers. Due to the complexity of training Transformers in practice, for lifelong learning, a question naturally arises: Can Transformers be learned to grow in a task aware way, that is to be dynamically transformed by introducing lightweight learnable plastic components to the architecture, while retaining the parameter-heavy, but stable components at streaming tasks? To that end, motivated by the lifelong learning capability maintained by the functionality of Hippocampi in human brain, we explore what would be, and how to implement, Artificial Hippocampi (ArtiHippo) in Transformers. We present a method to identify, and learn to grow, ArtiHippo in Vision Transformers (ViTs) for resilient lifelong learning in four aspects: (i) Where to place ArtiHippo to enable plasticity while preserving the core function of ViTs at streaming tasks? (ii) How to represent and realize ArtiHippo to ensure expressivity and adaptivity for tackling tasks of different nature in lifelong learning? (iii) How to learn to grow ArtiHippo to exploit task synergies (i.e., the learned knowledge) and overcome catastrophic forgetting? (iv) How to harness the best of our proposed ArtiHippo and prompting-based approaches? In experiments, we test the proposed method on the challenging Visual Domain Decathlon (VDD) benchmark and the 5-Dataset benchmark under the task-incremental lifelong learning setting. It obtains consistently better performance than the prior art with sensible ArtiHippo learned continually. To our knowledge, it is the first attempt of lifelong learning with ViTs on the challenging VDD benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL