Efficient Halftoning via Deep Reinforcement Learning

要約

タイトル：Deep Reinforcement Learningを用いた効率的なハーフトーン処理法

要約：

– ハーフトーンは、2つの離散的なレベルに制約された画素を使って連続トーン画像を再現する技法であり、ほとんどのプリンターで採用されている。しかし、ほとんどのプリンターは高速な手法（順序ダイザリング、誤差拡散など）を採用しており、ハーフトーンの品質を決定する構造的な詳細を表現できない。
– ハーフトーンの最適な解を探し求める過去の手法は、高い計算コストを要するため、一般的に使用されていない。
– 我々は、データ駆動型アプローチを用いて、高速かつ構造感に富んだハーフトーン処理法を提案する。具体的には、ハーフトーンを強化学習問題として定式化し、各バイナリ画素の値を、共有された完全畳み込みニューラルネットワーク（CNN）ポリシーによって選択されるアクションとして扱う。オフラインフェーズでは、効果的な勾配推定子を用いてエージェントをトレーニングし、高品質なハーフトーンを1つのアクションステップで生成する。その後、1つの高速なCNN推論によってオンラインでハーフトーンを生成できる。また、望ましいブルーノイズ特性をもたらす革新的な異方性抑制損失関数を提案する。
– 最後に、コントラストマップを使ってメトリックに重みをつけることで、SSIMを最適化することが平坦な領域に穴を生じることを避けることができることを示した。
– 実験の結果、我々のフレームワークは、軽量なCNNを効果的にトレーニングし、15倍速い従来の構造感のあるハーフトーン処理法よりも満足できる視覚的品質のブルーノイズハーフトーンを生成することができる。また、我々の方法の拡張性を示すために、深いマルチトニングのプロトタイプを提供している。

要約(オリジナル)

Halftoning aims to reproduce a continuous-tone image with pixels whose intensities are constrained to two discrete levels. This technique has been deployed on every printer, and the majority of them adopt fast methods (e.g., ordered dithering, error diffusion) that fail to render structural details, which determine halftone’s quality. Other prior methods of pursuing visual pleasure by searching for the optimal halftone solution, on the contrary, suffer from their high computational cost. In this paper, we propose a fast and structure-aware halftoning method via a data-driven approach. Specifically, we formulate halftoning as a reinforcement learning problem, in which each binary pixel’s value is regarded as an action chosen by a virtual agent with a shared fully convolutional neural network (CNN) policy. In the offline phase, an effective gradient estimator is utilized to train the agents in producing high-quality halftones in one action step. Then, halftones can be generated online by one fast CNN inference. Besides, we propose a novel anisotropy suppressing loss function, which brings the desirable blue-noise property. Finally, we find that optimizing SSIM could result in holes in flat areas, which can be avoided by weighting the metric with the contone’s contrast map. Experiments show that our framework can effectively train a light-weight CNN, which is 15x faster than previous structure-aware methods, to generate blue-noise halftones with satisfactory visual quality. We also present a prototype of deep multitoning to demonstrate the extensibility of our method.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI