Differentiable JPEG: The Devil is in the Details

要約

JPEG は、依然として最も広く普及している非可逆画像符号化方式の 1 つです。
ただし、JPEG の微分不可能な性質により、深層学習パイプラインでのアプリケーションは制限されます。
最近、この問題に対処するために、JPEG の微分可能な近似がいくつか提案されています。
このペーパーでは、既存の差分を包括的にレビューします。
JPEG は、これまでの方法では見逃していた重要な詳細にアプローチして識別します。
この目的のために、新しい差分を提案します。
JPEG アプローチにより、以前の制限が克服されました。
私たちのアプローチは、あらゆる点で差別化可能です。
入力画像、JPEG 品質、量子化テーブル、色変換パラメータ。
diff の前後のパフォーマンスを評価します。
既存の手法に対する JPEG アプローチ。
さらに、重要な設計上の選択を評価するために、広範なアブレーションが実行されます。
私たちが提案する差分。
JPEG は、(差分ではない) リファレンス実装に最もよく似ており、最近の最良の差分を大幅に上回っています。
平均 $3.47$dB (PSNR) で接近します。
強力な圧縮率を実現するには、PSNR を $9.51$dB 改善することもできます。
強力な敵対的攻撃の結果は、差分によって得られます。
JPEG、効果的な勾配近似を示します。
私たちのコードは https://github.com/necla-ml/Diff-JPEG で入手できます。

要約(オリジナル)

JPEG remains one of the most widespread lossy image coding methods. However, the non-differentiable nature of JPEG restricts the application in deep learning pipelines. Several differentiable approximations of JPEG have recently been proposed to address this issue. This paper conducts a comprehensive review of existing diff. JPEG approaches and identifies critical details that have been missed by previous methods. To this end, we propose a novel diff. JPEG approach, overcoming previous limitations. Our approach is differentiable w.r.t. the input image, the JPEG quality, the quantization tables, and the color conversion parameters. We evaluate the forward and backward performance of our diff. JPEG approach against existing methods. Additionally, extensive ablations are performed to evaluate crucial design choices. Our proposed diff. JPEG resembles the (non-diff.) reference implementation best, significantly surpassing the recent-best diff. approach by $3.47$dB (PSNR) on average. For strong compression rates, we can even improve PSNR by $9.51$dB. Strong adversarial attack results are yielded by our diff. JPEG, demonstrating the effective gradient approximation. Our code is available at https://github.com/necla-ml/Diff-JPEG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google