Tunable Convolutions with Parametric Multi-Loss Optimization

要約

タイトル：パラメトリック・マルチロス最適化によるチューナブル畳み込み

要約：ニューラルネットワークの動作は、訓練中に使用される特定の損失とデータによって決定されます。しかし、ユーザーの好みやデータの動的な特性などの外部要因に基づいて、推論時にモデルを微调することがしばしば望ましい場合があります。これは、不適切な画像対画像の変換タスクの知覚失調トレードオフをバランス良くするために特に重要です。本研究では、パラメトリック・チューナブル畳み込み層を最適化し、複数の異なるカーネルを含め、同等数の目的を含むパラメトリック・マルチロスを使用することを提案します。私たちの主な洞察は、オブジェクトとカーネルの両方を動的に補間するために共有パラメータを使用することです。訓練中、これらのパラメータはランダムにサンプリングされ、すべての可能な目的の組み合わせを明示的に最適化し、その効果を対応するカーネルに分離することができます。推論中、これらのパラメータはモデルの対話的な入力となるため、モデルの振る舞いを信頼性の高い一貫した方法で制御することができます。広範な実験結果は、私たちのチューナブル畳み込みが、既存のニューラルネットワークにおいて、ほとんど追加の計算コストなしに従来の畳み込みの代わりとして効果的に機能し、画像のノイズ除去、ぼかし、超解像、スタイル転送などの幅広いアプリケーションにおいて、最先端の制御戦略を上回っていることを示しています。

要約(オリジナル)

Behavior of neural networks is irremediably determined by the specific loss and data used during training. However it is often desirable to tune the model at inference time based on external factors such as preferences of the user or dynamic characteristics of the data. This is especially important to balance the perception-distortion trade-off of ill-posed image-to-image translation tasks. In this work, we propose to optimize a parametric tunable convolutional layer, which includes a number of different kernels, using a parametric multi-loss, which includes an equal number of objectives. Our key insight is to use a shared set of parameters to dynamically interpolate both the objectives and the kernels. During training, these parameters are sampled at random to explicitly optimize all possible combinations of objectives and consequently disentangle their effect into the corresponding kernels. During inference, these parameters become interactive inputs of the model hence enabling reliable and consistent control over the model behavior. Extensive experimental results demonstrate that our tunable convolutions effectively work as a drop-in replacement for traditional convolutions in existing neural networks at virtually no extra computational cost, outperforming state-of-the-art control strategies in a wide range of applications; including image denoising, deblurring, super-resolution, and style transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI