Canvas: End-to-End Kernel Architecture Search in Neural Networks

要約

タイトル：ニューラルネットワークにおけるエンドツーエンドのカーネルアーキテクチャサーチ「Canvas」

要約：
– ニューラルネットワーク（NN）の高い性能と正確さへの要求は終わることがない。
– テンソルコンパイルやニューラルアーキテクチャサーチ（NAS）の技術は、それぞれ独自に最適化を行っているが、具体的な戦略には多くの類似点がある。
– これらの類似点を活用し、カーネルアーキテクチャサーチ（KAS）を提案する。
– KASは、システムの観点からNASを再検討し、より細かいレベルに注目して、性能と正確性の両方を持つニューラルカーネルを生成する。
– KASの可能性を実証するために、エンドツーエンドのフレームワーク「Canvas」を構築し、畳み込みの代替となる高品質なカーネルを探索する。
– Canvasは、ユーザが指定した制約に従って、豊富なファイングレインドのプリミティブからサンプリングし、新しいカーネルを確率的に・反復的に構築して評価する。
– 評価により、標準的なNNにおいて生成された新しいカーネルで畳み込みを置き換えることにより、平均1.5倍の高速化が達成され、正確性の喪失とサーチ効率を許容範囲内で良好なものとなっていることが示されました。
– Canvasは、過去に手動で設計されたカーネルを再発見し、将来の機械学習のイノベーションのインスピレーションを与える可能性のある新しい構造を生み出すことで、KASの実用性を検証しています。

要約(オリジナル)

The demands for higher performance and accuracy in neural networks (NNs) never end. Existing tensor compilation and Neural Architecture Search (NAS) techniques orthogonally optimize the two goals but actually share many similarities in their concrete strategies. We exploit such opportunities by combining the two into one and make a case for Kernel Architecture Search (KAS). KAS reviews NAS from a system perspective and zooms into a more fine-grained level to generate neural kernels with both high performance and good accuracy. To demonstrate the potential of KAS, we build an end-to-end framework, Canvas, to find high-quality kernels as convolution replacements. Canvas samples from a rich set of fine-grained primitives to stochastically and iteratively construct new kernels and evaluate them according to user-specified constraints. Canvas supports freely adjustable tensor dimension sizes inside the kernel and uses two levels of solvers to satisfy structural legality and fully utilize model budgets. The evaluation shows that by replacing standard convolutions with generated new kernels in common NNs, Canvas achieves average 1.5x speedups compared to the previous state-of-the-art with acceptable accuracy loss and search efficiency. Canvas verifies the practicability of KAS by rediscovering many manually designed kernels in the past and producing new structures that may inspire future machine learning innovations.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI