Model Compression Techniques in Biometrics Applications: A Survey

要約

深層学習アルゴリズムの開発により、人類のタスク自動化能力が広範囲に強化されました。
ただし、これらのモデルのパフォーマンスの大幅な向上は、複雑さのレベルの増加と密接に関係しており、通常はリソースに制約のあるデバイスに展開される人間中心のアプリケーションでの有用性が制限されます。
これにより、パフォーマンスを大幅に低下させることなく、深層学習モデルの計算コストとメモリ コストを大幅に削減する圧縮技術が開発されました。
この論文は、バイオメトリクス アプリケーションにおけるモデル圧縮技術、つまり量子化、知識の蒸留、枝刈りに関する包括的な調査を提示することにより、このトピックに関する現在の文献を体系化することを目的としています。
私たちは、これらの手法の比較価値について批判的な分析を行い、その長所と短所に焦点を当て、現在の手法を改善できる可能性のある将来の作業の方向性についての提案を提示します。
さらに、モデルのバイアスとモデル圧縮の間の関連性について議論および分析し、将来の研究においてモデルの公平性を目指して圧縮研究を方向付ける必要性を強調します。

要約(オリジナル)

The development of deep learning algorithms has extensively empowered humanity’s task automatization capacity. However, the huge improvement in the performance of these models is highly correlated with their increasing level of complexity, limiting their usefulness in human-oriented applications, which are usually deployed in resource-constrained devices. This led to the development of compression techniques that drastically reduce the computational and memory costs of deep learning models without significant performance degradation. This paper aims to systematize the current literature on this topic by presenting a comprehensive survey of model compression techniques in biometrics applications, namely quantization, knowledge distillation and pruning. We conduct a critical analysis of the comparative value of these techniques, focusing on their advantages and disadvantages and presenting suggestions for future work directions that can potentially improve the current methods. Additionally, we discuss and analyze the link between model bias and model compression, highlighting the need to direct compression research toward model fairness in future works.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google