LightNobel: Improving Sequence Length Limitation in Protein Structure Prediction Model via Adaptive Activation Quantization

要約

Alphafold2やESMFoldなどのタンパク質構造予測モデル（PPM）の最近の進歩は、3次元タンパク質折り畳み構造を予測する際に前例のない精度を達成することにより、計算生物学に革命をもたらしました。
ただし、これらのモデルは、特に長いアミノ酸配列を持つタンパク質を処理する場合（たとえば、配列長1,000）、重要なスケーラビリティの課題に直面しています。
活性化サイズの指数関数的な成長から生じる主要なボトルネックは、PPMの一意のデータ構造によって駆動され、実質的なメモリと計算の要求につながる追加の次元をもたらします。
これらの制限により、大規模なタンパク質や複雑なマルチマーの重要な生物学的および医薬品関連性を分析するなど、実際のアプリケーションのPPMの効果的なスケーリングが妨げられています。
このホワイトペーパーでは、PPMのシーケンス長のスケーラビリティ制限を克服するために開発された最初のハードウェアソフトウェアの共同設計アクセラレータであるLightNobelを紹介します。
ソフトウェアレベルでは、トークンごとの適応活性化量子化（AAQ）を提案します。これは、PPM活性化の特徴パターンなどの独自のトークンごとの特性を活用して、精度を損なうことなく細粒の量子化技術を可能にします。
ハードウェアレベルでは、LightNobelは、AAQの効率的な実行を可能にするために、マルチエシジョン再構成可能マトリックス処理ユニット（RMPU）および汎用ベクター処理ユニット（VVPU）を統合します。
これらのイノベーションを通じて、LightNobelは、最新のNVIDIA A100およびH100 GPUでそれぞれ最大8.44倍、8.41倍のスピードアップ、37.29倍、43.35倍の電力効率を達成し、それぞれ無視できる精度損失を維持します。
また、PPMでピークメモリ要件を最大120.05倍に削減し、長いシーケンスを持つタンパク質のスケーラブルな処理を可能にします。

要約(オリジナル)

Recent advances in Protein Structure Prediction Models (PPMs), such as AlphaFold2 and ESMFold, have revolutionized computational biology by achieving unprecedented accuracy in predicting three-dimensional protein folding structures. However, these models face significant scalability challenges, particularly when processing proteins with long amino acid sequences (e.g., sequence length > 1,000). The primary bottleneck that arises from the exponential growth in activation sizes is driven by the unique data structure in PPM, which introduces an additional dimension that leads to substantial memory and computational demands. These limitations have hindered the effective scaling of PPM for real-world applications, such as analyzing large proteins or complex multimers with critical biological and pharmaceutical relevance. In this paper, we present LightNobel, the first hardware-software co-designed accelerator developed to overcome scalability limitations on the sequence length in PPM. At the software level, we propose Token-wise Adaptive Activation Quantization (AAQ), which leverages unique token-wise characteristics, such as distogram patterns in PPM activations, to enable fine-grained quantization techniques without compromising accuracy. At the hardware level, LightNobel integrates the multi-precision reconfigurable matrix processing unit (RMPU) and versatile vector processing unit (VVPU) to enable the efficient execution of AAQ. Through these innovations, LightNobel achieves up to 8.44x, 8.41x speedup and 37.29x, 43.35x higher power efficiency over the latest NVIDIA A100 and H100 GPUs, respectively, while maintaining negligible accuracy loss. It also reduces the peak memory requirement up to 120.05x in PPM, enabling scalable processing for proteins with long sequences.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google