RankDVQA-mini: Knowledge Distillation-Driven Deep Video Quality Assessment

要約

ディープラーニングベースのビデオ品質評価 (ディープ VQA) は、従来の指標を超える大きな可能性を示しており、人間の知覚との相関関係の点で改善が期待できます。
ただし、このようなディープ VQA モデルの実際の展開は、計算の複雑さと大容量のメモリ要件により制限されることがよくあります。
この問題に対処するために、プルーニング主導のモデル圧縮とマルチレベルを統合する 2 フェーズ ワークフローを採​​用することで、最先端のディープ VQA 手法の 1 つである RankDVQA のモデル サイズと実行時間を大幅に削減することを目指しています。
知識の蒸留。
結果として得られる軽量の完全な参照品質メトリクスである RankDVQA-mini は、フル バージョンと比較して必要なモデル パラメーターが 10% 未満 (FLOP 換算で 14%) であると同時に、ほとんどの既存のディープ VQA よりも優れた品質予測パフォーマンスを維持しています。
方法。
RankDVQA-mini のソース コードは、公開評価用に https://chenfeng-bristol.github.io/RankDVQA-mini/ で公開されています。

要約(オリジナル)

Deep learning-based video quality assessment (deep VQA) has demonstrated significant potential in surpassing conventional metrics, with promising improvements in terms of correlation with human perception. However, the practical deployment of such deep VQA models is often limited due to their high computational complexity and large memory requirements. To address this issue, we aim to significantly reduce the model size and runtime of one of the state-of-the-art deep VQA methods, RankDVQA, by employing a two-phase workflow that integrates pruning-driven model compression with multi-level knowledge distillation. The resulting lightweight full reference quality metric, RankDVQA-mini, requires less than 10% of the model parameters compared to its full version (14% in terms of FLOPs), while still retaining a quality prediction performance that is superior to most existing deep VQA methods. The source code of the RankDVQA-mini has been released at https://chenfeng-bristol.github.io/RankDVQA-mini/ for public evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google