Efficient Joint-Dimensional Search with Solution Space Regularization for Real-Time Semantic Segmentation

要約

セマンティックセグメンテーションはコンピュータビジョンにおける人気のある研究テーマであり、多くの取り組みがなされ、素晴らしい成果を上げている。本論文では、この問題に対して、リアルタイムに動作する最適なネットワーク構造を探索することを意図している。この目標に向けて、深度、チャンネル、拡張率、特徴の空間解像度を共同で探索した結果、約2.78*10^324の可能な選択肢からなる探索空間が得られた。このような大規模な探索空間を扱うために、我々は差分アーキテクチャ探索手法を活用する。しかし、既存の差分手法で探索したアーキテクチャパラメータは離散化する必要があり、差分手法で求めたアーキテクチャパラメータとその離散化したものをアーキテクチャ探索の最終解とした場合に離散化のギャップが発生する。そこで、我々は解空間の正則化という革新的な観点から、離散化ギャップの問題を解消する。具体的には、まず、スーパーネットがその離散的なものに収束することを効果的に促す、新しい解空間正則化（SSR）損失を提案する。次に、さらに高い探索効率を達成するために、新しい階層的かつ漸進的な解空間の縮小法を提示する。さらに、SSRロスの最適化がL_0-norm正則化と等価であることを理論的に示し、これが探索-評価ギャップの改善を説明する。包括的な実験により、提案する探索方式は、同等の精度を維持しつつ、小さなモデルサイズ（1M）で極めて高速なセグメンテーション速度（175FPS）をもたらす最適なネットワーク構造を効率的に見つけることができることが示される。

要約(オリジナル)

Semantic segmentation is a popular research topic in computer vision, and many efforts have been made on it with impressive results. In this paper, we intend to search an optimal network structure that can run in real-time for this problem. Towards this goal, we jointly search the depth, channel, dilation rate and feature spatial resolution, which results in a search space consisting of about 2.78*10^324 possible choices. To handle such a large search space, we leverage differential architecture search methods. However, the architecture parameters searched using existing differential methods need to be discretized, which causes the discretization gap between the architecture parameters found by the differential methods and their discretized version as the final solution for the architecture search. Hence, we relieve the problem of discretization gap from the innovative perspective of solution space regularization. Specifically, a novel Solution Space Regularization (SSR) loss is first proposed to effectively encourage the supernet to converge to its discrete one. Then, a new Hierarchical and Progressive Solution Space Shrinking method is presented to further achieve high efficiency of searching. In addition, we theoretically show that the optimization of SSR loss is equivalent to the L_0-norm regularization, which accounts for the improved search-evaluation gap. Comprehensive experiments show that the proposed search scheme can efficiently find an optimal network structure that yields an extremely fast speed (175 FPS) of segmentation with a small model size (1 M) while maintaining comparable accuracy.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL