Dense Network Expansion for Class Incremental Learning

要約

クラス増分学習 (CIL) の問題が考慮されます。
最先端のアプローチでは、タスク エキスパートがタスクごとに追加されるネットワーク拡張 (NE) に基づく動的アーキテクチャが使用されます。
計算の観点からは効果的ですが、これらの方法は、タスクの数に応じて急速に成長するモデルにつながります。
精度とモデルの複雑さの間のより良いトレードオフを達成するために、新しい NE メソッドである高密度ネットワーク拡張 (DNE) が提案されています。
これは、タスク エキスパート ネットワークの中間層の間に密な接続を導入することによって達成されます。これにより、機能の共有と再利用を通じて、古いタスクから新しいタスクへの知識の転送が可能になります。
この共有は、タスク間で情報を融合する新しいタスク アテンション ブロック (TAB) に基づくクロス タスク アテンション メカニズムで実装されます。
従来の注意メカニズムとは異なり、TAB は機能混合のレベルで動作し、空間的注意とは切り離されています。
これは、CIL の共同空間注意とタスク注意よりも効果的であることが示されています。
提案された DNE アプローチは、以前の方法よりもはるかに遅い速度でネットワークと機能の規模を拡大しながら、古いクラスの機能空間を厳密に維持できます。
その結果、以前の SOTA メソッドよりも精度の点で 4\% のマージンで優れており、モデル スケールは同等かそれよりも小さくなっています。

要約(オリジナル)

The problem of class incremental learning (CIL) is considered. State-of-the-art approaches use a dynamic architecture based on network expansion (NE), in which a task expert is added per task. While effective from a computational standpoint, these methods lead to models that grow quickly with the number of tasks. A new NE method, dense network expansion (DNE), is proposed to achieve a better trade-off between accuracy and model complexity. This is accomplished by the introduction of dense connections between the intermediate layers of the task expert networks, that enable the transfer of knowledge from old to new tasks via feature sharing and reusing. This sharing is implemented with a cross-task attention mechanism, based on a new task attention block (TAB), that fuses information across tasks. Unlike traditional attention mechanisms, TAB operates at the level of the feature mixing and is decoupled with spatial attentions. This is shown more effective than a joint spatial-and-task attention for CIL. The proposed DNE approach can strictly maintain the feature space of old classes while growing the network and feature scale at a much slower rate than previous methods. In result, it outperforms the previous SOTA methods by a margin of 4\% in terms of accuracy, with similar or even smaller model scale.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google