FIANCEE: Faster Inference of Adversarial Networks via Conditional Early Exits

要約

タイトル：FIANCEE：条件付き早期退出による敵対的ネットワークの高速推論

要約：
– 生成DNNは画像合成に強力なツールであるが、計算負荷に制限がある。
– 一方、訓練済みモデルとタスクが与えられた場合、例えば特定の特徴量範囲内の顔の生成など、出力画像の品質は異なる特徴を持つ画像間で均等に分布しない可能性がある。
– 従って、いくつかのインスタンスではモデルの複雑さを抑制し、高品質を維持することができる。
– 私たちは、早期退出ブランチを元のアーキテクチャに追加し、出力のレンダリングがどの程度難しいかに応じて計算パスを動的に切り替えることで、計算量を減らす方法を提案しています。
– 我々は、意味マップからの生成と顔表情のクロス再現という2つのSOTAモデルの生成タスクに私たちの方法を適用し、カスタムの低品質閾値で画像を出力できることを示しました。
– LPIPS <= 0.1の閾値に対して、計算量を最大で半分まで削減することができる。 - これは、品質の損失を抑える必要があり、入力のほとんどは複雑なインスタンスよりも少ない計算が必要なリアルタイムアプリケーション（例：顔の合成）に特に関連している。

要約(オリジナル)

Generative DNNs are a powerful tool for image synthesis, but they are limited by their computational load. On the other hand, given a trained model and a task, e.g. faces generation within a range of characteristics, the output image quality will be unevenly distributed among images with different characteristics. It follows, that we might restrain the models complexity on some instances, maintaining a high quality. We propose a method for diminishing computations by adding so-called early exit branches to the original architecture, and dynamically switching the computational path depending on how difficult it will be to render the output. We apply our method on two different SOTA models performing generative tasks: generation from a semantic map, and cross-reenactment of face expressions; showing it is able to output images with custom lower-quality thresholds. For a threshold of LPIPS <=0.1, we diminish their computations by up to a half. This is especially relevant for real-time applications such as synthesis of faces, when quality loss needs to be contained, but most of the inputs need fewer computations than the complex instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI