Brain Inspired Adaptive Memory Dual-Net for Few-Shot Image Classification

要約

少数のショット画像分類は、実際のシナリオでの幅広いアプリケーションの一般的な研究トピックとなっていますが、単一の画像レベルの注釈によって引き起こされる監督崩壊の問題は依然として大きな課題です。
既存の方法は、関連するローカル機能を見つけて調整することにより、この問題に取り組むことを目的としています。
ただし、現実世界の画像のクラス内の高い変動性は、少数のショット設定の下で意味的に関連するローカル地域を見つける上で重要な課題をもたらします。
限られた例からのセマンティック機能を迅速にキャプチャして統合することに優れている人間の補完的な学習システムからインスピレーションを得て、一般化を最適化したシステム統合適応メモリデュアルネットワーク、詐欺ネットを提案します。
このアプローチでは、補完的な学習システムのシステムの統合を適応的なメモリモジュールでシミュレートし、少ないショットシナリオで意味のある機能を識別することの難しさに成功します。
具体的には、各カテゴリの構造化された表現を統合する海馬ネオコルテックスデュアルネットワークを構築します。その後、新皮質内の長期記憶の一般化最適化原理に従って、構造化された表現が保存され、適応的に調節されます。
ベンチマークデータセットでの広範な実験は、提案されたモデルが最先端のパフォーマンスを達成したことを示しています。

要約(オリジナル)

Few-shot image classification has become a popular research topic for its wide application in real-world scenarios, however the problem of supervision collapse induced by single image-level annotation remains a major challenge. Existing methods aim to tackle this problem by locating and aligning relevant local features. However, the high intra-class variability in real-world images poses significant challenges in locating semantically relevant local regions under few-shot settings. Drawing inspiration from the human’s complementary learning system, which excels at rapidly capturing and integrating semantic features from limited examples, we propose the generalization-optimized Systems Consolidation Adaptive Memory Dual-Network, SCAM-Net. This approach simulates the systems consolidation of complementary learning system with an adaptive memory module, which successfully addresses the difficulty of identifying meaningful features in few-shot scenarios. Specifically, we construct a Hippocampus-Neocortex dual-network that consolidates structured representation of each category, the structured representation is then stored and adaptively regulated following the generalization optimization principle in a long-term memory inside Neocortex. Extensive experiments on benchmark datasets show that the proposed model has achieved state-of-the-art performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google