Application Specific Compression of Deep Learning Models

要約

大規模な深層学習モデルは圧縮され、特定のアプリケーションに展開されます。
ただし、現在の深層学習モデルの圧縮方法では、ターゲット アプリケーションに関する情報が利用されません。
その結果、圧縮モデルはアプリケーションに依存しません。
私たちの目標は、モデル圧縮プロセスをカスタマイズして、ターゲット アプリケーションのパフォーマンスを向上させる圧縮モデルを作成することです。
私たちの手法である Application Specific Compression (ASC) は、特定のターゲット アプリケーションにとって特に冗長な大規模なディープ ラーニング モデルのコンポーネントを特定し、プルーニングします。
私たちの作業の直観は、特定のアプリケーションのデータ表現の更新に大きく寄与しないネットワークの部分を取り除くことです。
私たちは、抽出 QA、自然言語推論、言い換え識別の 3 つのアプリケーションに対して BERT ファミリのモデルを実験してきました。
ASC メソッドを使用して作成されたカスタマイズされた圧縮モデルは、既存のモデル圧縮メソッドや既製の圧縮モデルよりも優れたパフォーマンスを発揮することがわかります。

要約(オリジナル)

Large Deep Learning models are compressed and deployed for specific applications. However, current Deep Learning model compression methods do not utilize the information about the target application. As a result, the compressed models are application agnostic. Our goal is to customize the model compression process to create a compressed model that will perform better for the target application. Our method, Application Specific Compression (ASC), identifies and prunes components of the large Deep Learning model that are redundant specifically for the given target application. The intuition of our work is to prune the parts of the network that do not contribute significantly to updating the data representation for the given application. We have experimented with the BERT family of models for three applications: Extractive QA, Natural Language Inference, and Paraphrase Identification. We observe that customized compressed models created using ASC method perform better than existing model compression methods and off-the-shelf compressed models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google