Is Differentiable Architecture Search truly a One-Shot Method?

要約

微分可能アーキテクチャ検索 (DAS) は、画像分類で有望な結果が得られるため、新しいアーキテクチャを発見するために広く研究されているツールです。
DAS の主な利点は、効率的なアーキテクチャ検索を可能にする、重みを共有するワンショット パラダイムによって達成される有効性です。
この作業では、逆問題の体系的なケーススタディでDASを調査します。これにより、これらの潜在的な利点を制御された方法で分析できます。
原則として、DAS の成功を画像分類から信号再構成に拡張できることを示します。
ただし、私たちの実験では、逆問題における DAS ベースの手法の評価における 3 つの基本的な問題も明らかになりました。まず、結果はすべてのテスト ケースで大きな分散を示しています。
第 2 に、最終的なパフォーマンスはオプティマイザーのハイパーパラメーターに大きく依存します。
そして 3 番目に、トレーニング中に使用される重み共有アーキテクチャのパフォーマンスは、見つかったアーキテクチャの最終的なパフォーマンスを十分に反映していません。
画像再構成の結果は、DAS パラダイムの可能性を確認する一方で、ワンショット法としての DAS の一般的な理解に挑戦しています。

要約(オリジナル)

Differentiable architecture search (DAS) is a widely researched tool for the discovery of novel architectures, due to its promising results for image classification. The main benefit of DAS is the effectiveness achieved through the weight-sharing one-shot paradigm, which allows efficient architecture search. In this work, we investigate DAS in a systematic case study of inverse problems, which allows us to analyze these potential benefits in a controlled manner. We demonstrate that the success of DAS can be extended from image classification to signal reconstruction, in principle. However, our experiments also expose three fundamental difficulties in the evaluation of DAS-based methods in inverse problems: First, the results show a large variance in all test cases. Second, the final performance is strongly dependent on the hyperparameters of the optimizer. And third, the performance of the weight-sharing architecture used during training does not reflect the final performance of the found architecture well. While the results on image reconstruction confirm the potential of the DAS paradigm, they challenge the common understanding of DAS as a one-shot method.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google