On-Device Domain Generalization

要約

小さなニューラル ネットワークのドメイン一般化 (DG) の体系的な研究を紹介します。これは、デバイス上の機械学習アプリケーションにとって重要な問題ですが、研究が大規模なモデルのみに焦点を当てている文献では見過ごされてきました。
小さなニューラル ネットワークはパラメーターがはるかに少なく、複雑さが低いため、DG アプリケーション用の大規模なニューラル ネットワークと同じ方法でトレーニングする必要はありません。
知識の蒸留は、問題を解決するための有力な候補であることがわかりました。これは、大規模なモデルを使用して開発された最先端の DG メソッドよりも大きなマージンで優れています。
さらに、ドメインシフトを伴うテストデータでの教師と生徒のパフォーマンスギャップは、配布データでのそれよりも大きいことがわかります。
展開コストを増やすことなく小さなニューラル ネットワークの DG を改善するために、分散外知識蒸留 (OKD) と呼ばれる単純なアイデアを提案します。
問題を解決するための有望なフレームワークであることが証明されています。
また、DOmain Shift in CONtext (DOSCO) と呼ばれる DG データセットを作成するスケーラブルな方法にも貢献しています。これは、人的労力をあまりかけずに大規模なデータに適用できます。
コードとモデルは、\url{https://github.com/KaiyangZhou/on-device-dg} でリリースされています。

要約(オリジナル)

We present a systematic study of domain generalization (DG) for tiny neural networks, a problem that is critical to on-device machine learning applications but has been overlooked in the literature where research has been focused on large models only. Tiny neural networks have much fewer parameters and lower complexity, and thus should not be trained the same way as their large counterparts for DG applications. We find that knowledge distillation is a strong candidate for solving the problem: it outperforms state-of-the-art DG methods that were developed using large models with a large margin. Moreover, we observe that the teacher-student performance gap on test data with domain shift is bigger than that on in-distribution data. To improve DG for tiny neural networks without increasing the deployment cost, we propose a simple idea called out-of-distribution knowledge distillation (OKD), which aims to teach the student how the teacher handles (synthetic) out-of-distribution data and is proved to be a promising framework for solving the problem. We also contribute a scalable method of creating DG datasets, called DOmain Shift in COntext (DOSCO), which can be applied to broad data at scale without much human effort. Code and models are released at \url{https://github.com/KaiyangZhou/on-device-dg}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google