Compressing Structured Tensor Algebra

要約

テンソル代数は、機械学習や科学技術コンピューティングなどのデータ集約型のワークロードにとって重要なコンポーネントです。
データの複雑さが増すにつれて、科学者は、高度に特殊化された高密度テンソル代数と、スパース テンソル代数によって提供される効率的な構造認識アルゴリズムとの間のジレンマに遭遇することがよくあります。
この論文では、自動データ レイアウト圧縮、多面体解析、アフィン コード生成などの技術を組み込むことで、テンソルのキャプチャされた高レベル構造を低レベル コード生成まで伝播するフレームワークである DASTAC を紹介します。
当社の方法論は、最適なデータ レイアウトを自動的に検出することでメモリ フットプリントを削減し、多面体最適化から大きなメリットを享受し、さらなる最適化を活用して、MLIR による並列化を可能にします。
広範な実験を通じて、DASTAC が最先端のスパース テンソル コンパイラである TACO および最先端の構造化テンソル代数コンパイラである StructTensor よりも 1 ～ 2 桁の高速化を達成していることを示しています。
メモリ使用量が少なくなります。

要約(オリジナル)

Tensor algebra is a crucial component for data-intensive workloads such as machine learning and scientific computing. As the complexity of data grows, scientists often encounter a dilemma between the highly specialized dense tensor algebra and efficient structure-aware algorithms provided by sparse tensor algebra. In this paper, we introduce DASTAC, a framework to propagate the tensors’s captured high-level structure down to low-level code generation by incorporating techniques such as automatic data layout compression, polyhedral analysis, and affine code generation. Our methodology reduces memory footprint by automatically detecting the best data layout, heavily benefits from polyhedral optimizations, leverages further optimizations, and enables parallelization through MLIR. Through extensive experimentation, we show that DASTAC achieves 1 to 2 orders of magnitude speedup over TACO, a state-of-the-art sparse tensor compiler, and StructTensor, a state-of-the-art structured tensor algebra compiler, with a significantly lower memory footprint.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google