Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together!

要約

スパースニューラルネットワーク(SNN)は、大規模モデルにおいて常に爆発的に増加するパラメータ数により、計算量とメモリ量が増大するため、主に大きな注目を集めています。最近のSNNは、密なネットワークと同様に一般化し、多くの利点（例：低複雑性、高スケーラビリティ、ロバスト性）を備えており、時には元の密なネットワークよりも優れていることもあります。このように、スパースアルゴリズムがますます洗練されていく中で、これらのアルゴリズムの有効性を評価するための包括的なベンチマークが非常に見過ごされていることに驚かされる。慎重に作られた評価ベンチマークがないため、すべてではないにせよ、ほとんどのスパースアルゴリズムは、かなり単純で素朴なタスク（例：CIFAR、ImageNet、GLUEなど）に対して評価されており、SNNの多くの利点と予期せぬ苦境をカモフラージュする可能性があります。より一般的な評価を行い、スパースアルゴリズムの真の可能性を明らかにするために、我々は「Sparity May Cry」ベンチマーク（SMC-Bench）を導入しました。このベンチマークは、慎重にキュレートされた4種類のタスクと10のデータセットからなり、ドメイン固有の高度な知識を幅広く捕らえることができます。最も代表的なスパースアルゴリズムを体系的に評価した結果、重要な不明瞭な観察結果が明らかになりました。最先端のマグニチュードベースや勾配ベースのスパースアルゴリズムは、そのままの状態でSMC-Benchに適用すると、時には5%という低いスパース性でパフォーマンスを発揮できないようなのです。SMC-Benchは、これらのよく考えられた多様なタスクを組み込むことで、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を支援・促進するように設計されています。

要約(オリジナル)

Sparse Neural Networks (SNNs) have received voluminous attention predominantly due to growing computational and memory footprints of consistently exploding parameter count in large-scale models. Similar to their dense counterparts, recent SNNs generalize just as well and are equipped with numerous favorable benefits (e.g., low complexity, high scalability, and robustness), sometimes even better than the original dense networks. As research effort is focused on developing increasingly sophisticated sparse algorithms, it is startling that a comprehensive benchmark to evaluate the effectiveness of these algorithms has been highly overlooked. In absence of a carefully crafted evaluation benchmark, most if not all, sparse algorithms are evaluated against fairly simple and naive tasks (eg. CIFAR, ImageNet, GLUE, etc.), which can potentially camouflage many advantages as well unexpected predicaments of SNNs. In pursuit of a more general evaluation and unveiling the true potential of sparse algorithms, we introduce ‘Sparsity May Cry’ Benchmark (SMC-Bench), a collection of carefully-curated 4 diverse tasks with 10 datasets, that accounts for capturing a wide range of domain-specific and sophisticated knowledge. Our systemic evaluation of the most representative sparse algorithms reveals an important obscured observation: the state-of-the-art magnitude- and/or gradient-based sparse algorithms seemingly fail to perform on SMC-Bench when applied out-of-the-box, sometimes at significantly trivial sparsity as low as 5%. By incorporating these well-thought and diverse tasks, SMC-Bench is designed to favor and encourage the development of more scalable and generalizable sparse algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL