Lightweight network towards real-time image denoising on mobile devices

要約

ディープ畳み込みニューラル ネットワークは、画像のノイズ除去タスクにおいて大きな進歩を遂げました。
ただし、その複雑なアーキテクチャと多額の計算コストにより、モバイル デバイスへの展開が妨げられます。
軽量ノイズ除去ネットワークの設計における最近の取り組みの中には、FLOP (浮動小数点演算) またはパラメータ数の削減に重点を置いたものもあります。
ただし、これらのメトリクスは、デバイス上の遅延と直接相関しません。
このペーパーでは、モバイル デバイス上での CNN ベースのモデルの実行時のパフォーマンスに影響を与える実際のボトルネック、つまりメモリ アクセス コストと NPU 非互換操作を特定し、これらに基づいてモデルを構築します。
ノイズ除去パフォーマンスをさらに向上させるために、モバイル対応アテンション モジュール MFA とモデル再パラメータ化モジュール RepConv が提案されており、これらは低遅延と優れたノイズ除去パフォーマンスの両方を実現します。
この目的を達成するために、我々はモバイルフレンドリーなノイズ除去ネットワーク、すなわち MFDNet を提案します。
実験では、MFDNet がモバイル デバイスのリアルタイム遅延下で現実世界のノイズ除去ベンチマーク SIDD および DND で最先端のパフォーマンスを達成することが示されています。
コードと事前トレーニングされたモデルがリリースされます。

要約(オリジナル)

Deep convolutional neural networks have achieved great progress in image denoising tasks. However, their complicated architectures and heavy computational cost hinder their deployments on mobile devices. Some recent efforts in designing lightweight denoising networks focus on reducing either FLOPs (floating-point operations) or the number of parameters. However, these metrics are not directly correlated with the on-device latency. In this paper, we identify the real bottlenecks that affect the CNN-based models’ run-time performance on mobile devices: memory access cost and NPU-incompatible operations, and build the model based on these. To further improve the denoising performance, the mobile-friendly attention module MFA and the model reparameterization module RepConv are proposed, which enjoy both low latency and excellent denoising performance. To this end, we propose a mobile-friendly denoising network, namely MFDNet. The experiments show that MFDNet achieves state-of-the-art performance on real-world denoising benchmarks SIDD and DND under real-time latency on mobile devices. The code and pre-trained models will be released.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google