FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification

要約

最新の深層学習システムは、パーソナライズや連合学習など、i）少量のデータでの学習、およびii）通信効率の高い分散トレーニングプロトコルをサポートする必要がある状況でますます展開されています。
この作業では、画像分類設定でこれらの要件を満たすFiLM Transfer（FiT）を開発します。
FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に構成された単純ベイズ分類器を使用します。
パラメータ効率の高いFiLMレイヤーを使用してバックボーンを変調し、ダウンストリームタスクの表現を形成します。
ネットワークは、一時的な微調整プロトコルを介してトレーニングされます。
このアプローチはパラメーター効率が高く、数ショットの学習、パーソナライズのための安価なモデル更新、および通信効率の高い連合学習を可能にするための鍵となります。
さまざまなダウンストリームデータセットでFiTを実験し、ローショットおよび挑戦的なVTAB-1kベンチマークで、最先端のBig Transfer（BiT）アルゴリズムよりも優れた分類精度を達成することを示しています。
更新可能なパラメーターの1％。
最後に、モデルのパーソナライズや、モデルの更新サイズが重要なパフォーマンスメトリックである連合学習など、分散型ローショットアプリケーションでのFiTのパラメーター効率を示します。

要約(オリジナル)

Modern deep learning systems are increasingly deployed in situations such as personalization and federated learning where it is necessary to support i) learning on small amounts of data, and ii) communication efficient distributed training protocols. In this work we develop FiLM Transfer (FiT) which fulfills these requirements in the image classification setting. FiT uses an automatically configured Naive Bayes classifier on top of a fixed backbone that has been pretrained on large image datasets. Parameter efficient FiLM layers are used to modulate the backbone, shaping the representation for the downstream task. The network is trained via an episodic fine-tuning protocol. The approach is parameter efficient which is key for enabling few-shot learning, inexpensive model updates for personalization, and communication efficient federated learning. We experiment with FiT on a wide range of downstream datasets and show that it achieves better classification accuracy than the state-of-the-art Big Transfer (BiT) algorithm at low-shot and on the challenging VTAB-1k benchmark, with fewer than 1% of the updateable parameters. Finally, we demonstrate the parameter efficiency of FiT in distributed low-shot applications including model personalization and federated learning where model update size is an important performance metric.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google