Budget-Aware Pruning: Handling Multiple Domains with Less Parameters

要約

深層学習は、いくつかのコンピューター ビジョン タスクおよびドメインで最先端のパフォーマンスを達成しました。
それにもかかわらず、依然として計算コストが高く、大量のパラメータが必要です。
このような要件は、リソースが限られた環境での使用を妨げ、ソフトウェアとハ​​ードウェアの両方の最適化を必要とします。
もう 1 つの制限は、ディープ モデルは通常、単一のドメインまたはタスクに特化されており、新しいパラメータごとに新しいパラメータを学習して保存する必要があることです。
マルチドメイン学習 (MDL) は、複数のドメインで良好なパフォーマンスを発揮できる単一のモデルを学習することで、この問題を解決しようとします。
それにもかかわらず、モデルは通常、単一ドメインのベースラインよりも大きくなります。
この研究はこれら両方の問題に取り組みます。私たちの目的は、ユーザー定義の予算に従って複数のドメインを処理できるモデルをプルーニングし、同様の分類パフォーマンスを維持しながら計算コストをより手頃なものにすることです。
これは、ユーザーの予算で定義された量を上限として、すべてのドメインがベースライン モデルの同様のフィルターのサブセットを使用することを奨励することで実現されます。
次に、どのドメインでも使用されていないフィルターがネットワークから削除されます。
提案されたアプローチは、リソースが限られたデバイスにうまく適応することで革新をもたらしますが、私たちの知る限り、単一ドメインのベースライン モデルよりも少ないパラメーターと低い計算複雑さでテスト時に複数のドメインを処理する唯一の作品です。

要約(オリジナル)

Deep learning has achieved state-of-the-art performance on several computer vision tasks and domains. Nevertheless, it still has a high computational cost and demands a significant amount of parameters. Such requirements hinder the use in resource-limited environments and demand both software and hardware optimization. Another limitation is that deep models are usually specialized into a single domain or task, requiring them to learn and store new parameters for each new one. Multi-Domain Learning (MDL) attempts to solve this problem by learning a single model that is capable of performing well in multiple domains. Nevertheless, the models are usually larger than the baseline for a single domain. This work tackles both of these problems: our objective is to prune models capable of handling multiple domains according to a user-defined budget, making them more computationally affordable while keeping a similar classification performance. We achieve this by encouraging all domains to use a similar subset of filters from the baseline model, up to the amount defined by the user’s budget. Then, filters that are not used by any domain are pruned from the network. The proposed approach innovates by better adapting to resource-limited devices while, to our knowledge, being the only work that handles multiple domains at test time with fewer parameters and lower computational complexity than the baseline model for a single domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google