Memory-Modular Classification: Learning to Generalize with Memory Replacement

要約

知識の記憶を推論と分離する画像分類のために、新しいメモリモジュラー学習者を提案します。
私たちのモデルは、モデル再トレーニングを必要とせずに、メモリの内容を単に置き換えるだけで、新しいクラスへの効果的な一般化を可能にします。
トレーニング中に世界の知識とタスク固有のスキルの両方を重量にエンコードする従来のモデルとは異なり、モデルはWebがクロールされた画像とテキストデータの外部メモリに知識を保存しています。
推論時に、モデルは入力画像に基づいてメモリから関連するコンテンツを動的に選択し、メモリコンテンツを単に交換するだけで任意のクラスに適応できるようにします。
私たちの学習者が目に見えないクラスの騒々しいWebデータを使用して分類タスクを実行するためのメタラーンが、さまざまな分類シナリオで堅牢なパフォーマンスをもたらす重要な差別化要因。
実験結果は、目に見えないクラスのゼロショット/少ないショット分類、微調整された分類、クラスインクリメンタル分類など、多様な分類タスクを処理する際のアプローチの有望なパフォーマンスと汎用性を示しています。

要約(オリジナル)

We propose a novel memory-modular learner for image classification that separates knowledge memorization from reasoning. Our model enables effective generalization to new classes by simply replacing the memory contents, without the need for model retraining. Unlike traditional models that encode both world knowledge and task-specific skills into their weights during training, our model stores knowledge in the external memory of web-crawled image and text data. At inference time, the model dynamically selects relevant content from the memory based on the input image, allowing it to adapt to arbitrary classes by simply replacing the memory contents. The key differentiator that our learner meta-learns to perform classification tasks with noisy web data from unseen classes, resulting in robust performance across various classification scenarios. Experimental results demonstrate the promising performance and versatility of our approach in handling diverse classification tasks, including zero-shot/few-shot classification of unseen classes, fine-grained classification, and class-incremental classification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google