Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification

要約

近年、データ量の少ない環境で、タスク間で効果的な知識伝達を必要とするユーザー中心のアプリケーションが増加しています。
その一例がパーソナライゼーションです。この場合、特定のユーザーに属する少量のラベル付きデータを学習することによって、事前トレーニング済みのシステムが適応されます。
この設定では、計算量が少ない場合に高い精度が必要になるため、精度と適応コストのパレート フロンティアが重要な役割を果たします。
このホワイト ペーパーでは、このパレート フロンティアを少数ショットの画像分類設定に適用し、重要な貢献をします。新しいタスクで事前トレーニング済みのニューラル ネットワークを調整してパフォーマンスを大幅に向上させる Contextual Squeeze-and-Excitation (CaSE) と呼ばれる新しい適応ブロックです。
ユーザー データ (コンテキスト) の 1 回の転送パス。
メタトレーニングされた CaSE ブロックを使用してネットワークの本体を条件付きで適応させ、微調整ルーチンを使用してリニア ヘッドを適応させ、UpperCaSE と呼ばれるメソッドを定義します。
UpperCaSE は、VTAB+MD の 26 のデータセットと挑戦的な現実世界のパーソナライゼーション ベンチマーク (ORBIT) で、メタ学習者と比較して新しい最先端の精度を達成し、優れた微調整方法とのギャップを狭めます。
桁違いに低い適応コスト。

要約(オリジナル)

Recent years have seen a growth in user-centric applications that require effective knowledge transfer across tasks in the low-data regime. An example is personalization, where a pretrained system is adapted by learning on small amounts of labeled data belonging to a specific user. This setting requires high accuracy under low computational complexity, therefore the Pareto frontier of accuracy vs. adaptation cost plays a crucial role. In this paper we push this Pareto frontier in the few-shot image classification setting with a key contribution: a new adaptive block called Contextual Squeeze-and-Excitation (CaSE) that adjusts a pretrained neural network on a new task to significantly improve performance with a single forward pass of the user data (context). We use meta-trained CaSE blocks to conditionally adapt the body of a network and a fine-tuning routine to adapt a linear head, defining a method called UpperCaSE. UpperCaSE achieves a new state-of-the-art accuracy relative to meta-learners on the 26 datasets of VTAB+MD and on a challenging real-world personalization benchmark (ORBIT), narrowing the gap with leading fine-tuning methods with the benefit of orders of magnitude lower adaptation cost.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google