Canvas: End-to-End Kernel Architecture Search in Neural Networks

要約

タイトル：ニューラルネットワークにおけるエンド･トゥ･エンドのカーネルアーキテクチャサーチ「Canvas」

要約：
– ニューラルネットワーク（NN）の性能と精度の要求が終わらないため、Kernel Architecture Search（KAS）を提案した。
– Tensor compilationとNeural Architecture Search（NAS）のテクニックから、KASが生まれた。
– KASは、システム的な視点からNASをレビューし、より細かいレベルにズームして、高い性能と良い精度を持つニューラルカーネルを生成する。
– Canvasというフレームワークを開発し、高品質のカーネルを構築することができた。
– Canvasは、一連の細かいプリミティブからサンプリングして、新しいニューラルカーネルを確率的かつ反復的に構成し、ユーザー指定の制約に従って評価することができる。
– 標準の畳み込みを生成された新しいカーネルに置き換えることで、Canvasは過去の最先端に比べて平均1.5倍の高速化を実現し、受け入れ可能な精度損失と検索効率を維持しています。
– Canvasは、過去に手動で設計されたカーネルの多くを再発見し、今後の機械学習のイノベーションを促す可能性のある新しい構造を生み出しました。
– Canvasのソースコードと実装は、https://github.com/tsinghua-ideal/Canvasでオープンソース化されている。

要約(オリジナル)

The demands for higher performance and accuracy in neural networks (NNs) never end. Existing tensor compilation and Neural Architecture Search (NAS) techniques orthogonally optimize the two goals but actually share many similarities in their concrete strategies. We exploit such opportunities by combining the two into one and make a case for Kernel Architecture Search (KAS). KAS reviews NAS from a system perspective and zooms into a more fine-grained level to generate neural kernels with both high performance and good accuracy. To demonstrate the potential of KAS, we build an end-to-end framework, Canvas, to find high-quality kernels as convolution replacements. Canvas samples from a rich set of fine-grained primitives to stochastically and iteratively construct new kernels and evaluate them according to user-specified constraints. Canvas supports freely adjustable tensor dimension sizes inside the kernel and uses two levels of solvers to satisfy structural legality and fully utilize model budgets. The evaluation shows that by replacing standard convolutions with generated new kernels in common NNs, Canvas achieves average 1.5x speedups compared to the previous state-of-the-art with acceptable accuracy loss and search efficiency. Canvas verifies the practicability of KAS by rediscovering many manually designed kernels in the past and producing new structures that may inspire future machine learning innovations. For source code and implementation, we open-sourced Canvas at https://github.com/tsinghua-ideal/Canvas.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI