Gestalt-Guided Image Understanding for Few-Shot Learning

要約

利用可能なデータが不足しているため、深層学習は少数ショットの学習タスクではうまく機能しません。
ただし、人間は非常に少ないサンプルから新しいカテゴリの特徴をすばやく学習できます。
それにもかかわらず、以前の研究では、人間の認知行動を模倣し、それを数ショット学習に適用する方法についてはほとんど考慮されていませんでした。
この論文では、ゲシュタルト心理学を少数ショット学習に導入し、GGIU と呼ばれるプラグアンドプレイ方式であるゲシュタルト誘導画像理解を提案します。
ゲシュタルト心理学における全体性の原理と閉鎖の法則を参照して、全体性誘導イメージ理解と閉鎖誘導イメージ理解を設計し、画像の特徴を抽出します。
その後、特徴推定モジュールを使用して、画像の正確な特徴を推定します。
広範な実験により、私たちの方法が再トレーニングや微調整なしで既存のモデルのパフォーマンスを効果的かつ柔軟に改善できることが実証されています。
コードは https://github.com/skingorz/GGIU で公開されています。

要約(オリジナル)

Due to the scarcity of available data, deep learning does not perform well on few-shot learning tasks. However, human can quickly learn the feature of a new category from very few samples. Nevertheless, previous work has rarely considered how to mimic human cognitive behavior and apply it to few-shot learning. This paper introduces Gestalt psychology to few-shot learning and proposes Gestalt-Guided Image Understanding, a plug-and-play method called GGIU. Referring to the principle of totality and the law of closure in Gestalt psychology, we design Totality-Guided Image Understanding and Closure-Guided Image Understanding to extract image features. After that, a feature estimation module is used to estimate the accurate features of images. Extensive experiments demonstrate that our method can improve the performance of existing models effectively and flexibly without retraining or fine-tuning. Our code is released on https://github.com/skingorz/GGIU.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google