NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models

要約

トランスフォーマーベースの言語モデルは、さまざまなタスクで優れたパフォーマンスを発揮するため、自然言語処理 (NLP) で広く普及しています。
しかし、推論と同様に高価なトレーニングが、広範な適用性にとって依然として大きな障害となっています。
モデル アーキテクチャのさまざまなレベルでスパース性を強制することは、スケーリングと効率の問題に対処する上で有望ですが、スパース性がネットワーク トポロジにどのように影響するかの間には依然として断絶が残っています。
脳のニューロン ネットワークに触発され、ネットワーク トポロジーのレンズを通してスパース性のアプローチを探求します。
具体的には、優先的アタッチメントや冗長シナプス刈り込みなど、生物学的ネットワークに見られるメカニズムを活用し、原則に基づいたモデルに依存しないスパース性アプローチが、分類 (自然言語推論など) と生成の両方にわたる多様な NLP タスクにわたってパフォーマンスと効率性を発揮することを示します。
(要約、機械翻訳)、私たちの唯一の目的はパフォーマンスの最適化ではないにもかかわらず。
NeuroPrune は、パフォーマンスに関してベースラインと競合し (または場合によってはそれよりも優れており)、特定のレベルのスパース性でトレーニング時間の点で最大 10$x 高速化することができ、同時に多くの場合、推論時間に測定可能な改善を示します。

要約(オリジナル)

Transformer-based Language Models have become ubiquitous in Natural Language Processing (NLP) due to their impressive performance on various tasks. However, expensive training as well as inference remains a significant impediment to their widespread applicability. While enforcing sparsity at various levels of the model architecture has found promise in addressing scaling and efficiency issues, there remains a disconnect between how sparsity affects network topology. Inspired by brain neuronal networks, we explore sparsity approaches through the lens of network topology. Specifically, we exploit mechanisms seen in biological networks, such as preferential attachment and redundant synapse pruning, and show that principled, model-agnostic sparsity approaches are performant and efficient across diverse NLP tasks, spanning both classification (such as natural language inference) and generation (summarization, machine translation), despite our sole objective not being optimizing performance. NeuroPrune is competitive with (or sometimes superior to) baselines on performance and can be up to $10$x faster in terms of training time for a given level of sparsity, simultaneously exhibiting measurable improvements in inference time in many cases.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google