A Comprehensive Review of Knowledge Distillation in Computer Vision

要約

ディープラーニング技術は近年、これまでの最先端の機械学習技術を上回ることが証明されており、その最も顕著な例の 1 つがコンピューター ビジョンです。
ただし、ディープ ラーニング モデルは、モデル サイズが大きく複雑性が高いため、リソースに制約のある環境に導入すると重大な欠点に悩まされます。
知識の蒸留は、この課題を克服するための優れたソリューションの 1 つです。
このレビュー ペーパーでは、複雑なモデルをより小さく単純なモデルに圧縮する手法である知識蒸留に関する研究の現状を調査します。
この論文では、知識の蒸留に関連する主要な原理と技術の概要を示し、コンピューター ビジョンの分野における知識の蒸留の応用をレビューします。
このレビューでは、知識の蒸留の利点と、その有効性を向上させるために克服する必要がある問題に焦点を当てています。

要約(オリジナル)

Deep learning techniques have been demonstrated to surpass preceding cutting-edge machine learning techniques in recent years, with computer vision being one of the most prominent examples. However, deep learning models suffer from significant drawbacks when deployed in resource-constrained environments due to their large model size and high complexity. Knowledge Distillation is one of the prominent solutions to overcome this challenge. This review paper examines the current state of research on knowledge distillation, a technique for compressing complex models into smaller and simpler ones. The paper provides an overview of the major principles and techniques associated with knowledge distillation and reviews the applications of knowledge distillation in the domain of computer vision. The review focuses on the benefits of knowledge distillation, as well as the problems that must be overcome to improve its effectiveness.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google