Learning Instance-Specific Parameters of Black-Box Models Using Differentiable Surrogates

要約

微分不可能なコンピューティングまたはブラックボックス コンピューティングのパラメーターを調整するのは困難です。
既存の方法は主に、パラメータ空間からのランダム サンプリングまたはグリッド サンプリングに依存しています。
さらに、現在のすべての方法では、入力固有のパラメーターをブラック ボックスに提供することはできません。
私たちの知る限りでは、この作業で初めて、ブラック ボックスの入力固有のパラメーターを学習することができました。
テスト アプリケーションとして、ブラック ボックス コンピューティングとして人気のある画像ノイズ除去手法 BM3D を選択します。
次に、微分可能なサロゲート モデル (ニューラル ネットワーク) を使用して、ブラック ボックスの動作を近似します。
次に、別のニューラル ネットワークをエンドツーエンド方式で使用して、ブラック ボックスの入力インスタンス固有のパラメーターを学習します。
サロゲートベースの最適化におけるこれまでの進歩を動機として、私たちは画像ノイズ除去のためにスマートフォン画像ノイズ除去データセット (SIDD) とカラー バークレー セグメンテーション データセット (CBSD68) にこの方法を適用しました。
この結果は説得力があり、PSNR の大幅な増加と 0.93 に近い SSIM の顕著な改善を示しています。
実験結果は、モデルのパフォーマンスと最適化効率の両方において大幅な改善を達成する上での私たちのアプローチの有効性を強調しています。
コードと実装の詳細については、GitHub リポジトリを参照してください: https://github.com/arnisha-k/instance-specific-param

要約(オリジナル)

Tuning parameters of a non-differentiable or black-box compute is challenging. Existing methods rely mostly on random sampling or grid sampling from the parameter space. Further, with all the current methods, it is not possible to supply any input specific parameters to the black-box. To the best of our knowledge, for the first time, we are able to learn input-specific parameters for a black box in this work. As a test application, we choose a popular image denoising method BM3D as our black-box compute. Then, we use a differentiable surrogate model (a neural network) to approximate the black-box behaviour. Next, another neural network is used in an end-to-end fashion to learn input instance-specific parameters for the black-box. Motivated by prior advances in surrogate-based optimization, we applied our method to the Smartphone Image Denoising Dataset (SIDD) and the Color Berkeley Segmentation Dataset (CBSD68) for image denoising. The results are compelling, demonstrating a significant increase in PSNR and a notable improvement in SSIM nearing 0.93. Experimental results underscore the effectiveness of our approach in achieving substantial improvements in both model performance and optimization efficiency. For code and implementation details, please refer to our GitHub repository: https://github.com/arnisha-k/instance-specific-param

arxiv情報

提供元, 利用サービス

arxiv.jp, Google