Deep Reinforcement Learning for Image-to-Image Translation

要約

既存のほとんどの画像間変換 (I2IT) メソッドは、深層学習 (DL) モデルの 1 回の実行で画像を生成します。
ただし、このようなシングルステップ モデルの設計は常に困難であり、膨大な数のパラメーターが必要であり、不正なグローバル ミニマムやオーバーフィッティングに簡単に陥ります。
この研究では、I2IT を深層強化学習 (DRL) による段階的な意思決定問題として再定式化し、RL ベースの I2IT (RL-I2IT) を実行する新しいフレームワークを提案します。
RL-I2IT フレームワークの主な機能は、モノリシック学習プロセスを軽量モデルを使用した小さなステップに分解し、ソース画像をターゲット画像に連続的に段階的に変換することです。
従来の RL フレームワークでは高次元の連続状態空間とアクション空間を扱うことが困難であることを考慮し、標準的な Actor-Critic モデルに新しい概念 Plan を備えたメタ ポリシーを導入します。
アクターが扱いやすい高次元のアクションを生成します。
RL-I2IT フレームワークでは、トレーニング プロセスを安定させ、対応するタスクのパフォーマンスを向上させるために、タスク固有の補助学習戦略も採用しています。
いくつかの I2IT タスクに関する実験により、高次元の連続アクション空間の問題に直面した場合の、提案された方法の有効性と堅牢性が実証されています。

要約(オリジナル)

Most existing Image-to-Image Translation (I2IT) methods generate images in a single run of a deep learning (DL) model. However, designing such a single-step model is always challenging, requiring a huge number of parameters and easily falling into bad global minimums and overfitting. In this work, we reformulate I2IT as a step-wise decision-making problem via deep reinforcement learning (DRL) and propose a novel framework that performs RL-based I2IT (RL-I2IT). The key feature in the RL-I2IT framework is to decompose a monolithic learning process into small steps with a lightweight model to progressively transform a source image successively to a target image. Considering that it is challenging to handle high dimensional continuous state and action spaces in the conventional RL framework, we introduce meta policy with a new concept Plan to the standard Actor-Critic model, which is of a lower dimension than the original image and can facilitate the actor to generate a tractable high dimensional action. In the RL-I2IT framework, we also employ a task-specific auxiliary learning strategy to stabilize the training process and improve the performance of the corresponding task. Experiments on several I2IT tasks demonstrate the effectiveness and robustness of the proposed method when facing high-dimensional continuous action space problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google