Out-of-distribution Few-shot Learning For Edge Devices without Model Fine-tuning

要約

タイトル：モデルの微調整がないエッジデバイス向けのアウトオブディストリビューションフューショットラーニング

要約：

– エッジデバイスにおけるユーザーパーソナライズのための深層学習ネットワークのカスタマイズによるフューショット学習（FSL）は、限られたデータから実現する有望な技術として注目されている。
– しかし、既存のFSL手法は主に独立同分布（IID）データを仮定し、各タスクごとに計算バックプロパゲーション更新を利用するか、タスク固有のプロトタイプを持つ共通モデルを利用する。前者の解決策はエッジデバイスにバックプロパゲーション機能がないため実現不可能であり、後者は通常、特にアウトオブディストリビューション（OOD）データに対して一般化能力が限られていることが問題となっている。
– 本論文では、バックプロパゲーションなしで深層ニューラルネットワークの効率的でタスク感知的な適応を実現する軽量なプラグアンドプレイFSLモジュール「Task-aware Normalization（TANO）」を提案する。
– TANOは、メタトレーニング中にいくつかの正規化統計データグループの更新を調整することで、複数のユーザーグループの特性をカバーし、ダウンストリームのフューショットタスクに適切な正規化グループを自動的に特定することができる。
– 結果として、TANOは分布のギャップを埋め、効率的なモデル適応を実現するための安定したタスク固有の正規化統計データの推定値を提供し、イントラドメインおよびアウトオブドメインの一般化実験の両方で他の最近の手法よりも精度、推論速度、モデルサイズの面で優れた結果を示した。また、TANOは広く使用されているFSLベンチマークや実アプリケーションのデータでも有望な結果を達成している。

要約(オリジナル)

Few-shot learning (FSL) via customization of a deep learning network with limited data has emerged as a promising technique to achieve personalized user experiences on edge devices. However, existing FSL methods primarily assume independent and identically distributed (IID) data and utilize either computational backpropagation updates for each task or a common model with task-specific prototypes. Unfortunately, the former solution is infeasible for edge devices that lack on-device backpropagation capabilities, while the latter often struggles with limited generalization ability, especially for out-of-distribution (OOD) data. This paper proposes a lightweight, plug-and-play FSL module called Task-aware Normalization (TANO) that enables efficient and task-aware adaptation of a deep neural network without backpropagation. TANO covers the properties of multiple user groups by coordinating the updates of several groups of the normalization statistics during meta-training and automatically identifies the appropriate normalization group for a downstream few-shot task. Consequently, TANO provides stable but task-specific estimations of the normalization statistics to close the distribution gaps and achieve efficient model adaptation. Results on both intra-domain and out-of-domain generalization experiments demonstrate that TANO outperforms recent methods in terms of accuracy, inference speed, and model size. Moreover, TANO achieves promising results on widely-used FSL benchmarks and data from real applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI