iNeMo: Incremental Neural Mesh Models for Robust Class-Incremental Learning

要約

人間の性質とは異なり、視覚タスクでは、最初に固定データセットのみで深層学習モデルをトレーニングすることが今日でも一般的に行われています。
最近、さまざまなアプローチが継続的なデータ ストリームの処理に取り組んでいます。
ただし、これらの方法を拡張して配布外 (OOD) シナリオを管理することは効果的に調査されていません。
一方、最近では、非連続ニューラル メッシュ モデルが、そのような OOD シナリオに一般化する場合に強力なパフォーマンスを発揮することが示されています。
継続的な学習設定でこの決定的な特性を活用するために、時間の経過とともに新しいメッシュで拡張できる増分ニューラル メッシュ モデルを提案します。
さらに、将来の未確認のクラスに事前に特徴空間を割り当てることを可能にする潜在空間初期化戦略と、さまざまなクラスの特徴をそれぞれの潜在空間領域に一貫して保持するように強制する位置正則化項を提示します。
Pascal3D および ObjectNet3D データセットでの広範な実験を通じて私たちの方法の有効性を実証し、私たちのアプローチが分類のベースラインをドメイン内で $2-6\%$、OOD 設定で $6-50\%$ 上回っていることを示します。
。
私たちの研究は、姿勢推定のための最初の増分学習アプローチも示しています。
私たちのコードとモデルは https://github.com/Fischer-Tom/iNeMo で見つけることができます。

要約(オリジナル)

Different from human nature, it is still common practice today for vision tasks to train deep learning models only initially and on fixed datasets. A variety of approaches have recently addressed handling continual data streams. However, extending these methods to manage out-of-distribution (OOD) scenarios has not effectively been investigated. On the other hand, it has recently been shown that non-continual neural mesh models exhibit strong performance in generalizing to such OOD scenarios. To leverage this decisive property in a continual learning setting, we propose incremental neural mesh models that can be extended with new meshes over time. In addition, we present a latent space initialization strategy that enables us to allocate feature space for future unseen classes in advance and a positional regularization term that forces the features of the different classes to consistently stay in respective latent space regions. We demonstrate the effectiveness of our method through extensive experiments on the Pascal3D and ObjectNet3D datasets and show that our approach outperforms the baselines for classification by $2-6\%$ in the in-domain and by $6-50\%$ in the OOD setting. Our work also presents the first incremental learning approach for pose estimation. Our code and model can be found at https://github.com/Fischer-Tom/iNeMo.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google