Lyra: An Efficient and Expressive Subquadratic Architecture for Modeling Biological Sequences

要約

畳み込みニューラルネットワークやトランスなどの深い学習アーキテクチャは、基礎とタスク固有のモデルのスケーリングによって推進される最近の進歩とともに、生物学的シーケンスモデリングに革命をもたらしました。
ただし、必要な計算リソースと大規模なデータセットは、生物学的コンテキストでの適用性を制限します。
配列と機能の関係を理解するためのエピスタシスの生物学的枠組みに基づいた、シーケンスモデリングのための準周囲アーキテクチャであるLyraを紹介します。
数学的には、状態空間モデルがグローバルなエピスタティック相互作用を効率的にキャプチャし、それらを局所的な関係をモデル化するための投影されたゲート畳み込みと組み合わせることを実証します。
Lyraは、タンパク質フィットネス景観予測、生物物理学的特性予測、生物物理学的特性予測（例：ペプチドタンパク領域機能）ペプチドエンジニアリングアプリケーションを含む多くの重要な領域で、100を超える広範囲の生物学的タスクでパフォーマンスを発揮し、多くの重要な領域で最先端の（SOTA）性能を達成していることを実証します。
これは、最近の生物学の基礎モデルと比較して、推論速度とパラメーターの減少（テストでは最大120,000倍）の幅広さを改善することで達成します。
Lyraを使用して、この研究のすべてのタスクを2時間以内に2時間以内にGPU以下でトレーニングおよび実行することができました。これは、SOTAパフォーマンスでの生物学的シーケンスモデリングへのアクセスを民主化し、多くの分野に潜在的に応用しました。

要約(オリジナル)

Deep learning architectures such as convolutional neural networks and Transformers have revolutionized biological sequence modeling, with recent advances driven by scaling up foundation and task-specific models. The computational resources and large datasets required, however, limit their applicability in biological contexts. We introduce Lyra, a subquadratic architecture for sequence modeling, grounded in the biological framework of epistasis for understanding sequence-to-function relationships. Mathematically, we demonstrate that state space models efficiently capture global epistatic interactions and combine them with projected gated convolutions for modeling local relationships. We demonstrate that Lyra is performant across over 100 wide-ranging biological tasks, achieving state-of-the-art (SOTA) performance in many key areas, including protein fitness landscape prediction, biophysical property prediction (e.g. disordered protein region functions) peptide engineering applications (e.g. antibody binding, cell-penetrating peptide prediction), RNA structure analysis, RNA function prediction, and CRISPR guide design. It achieves this with orders-of-magnitude improvements in inference speed and reduction in parameters (up to 120,000-fold in our tests) compared to recent biology foundation models. Using Lyra, we were able to train and run every task in this study on two or fewer GPUs in under two hours, democratizing access to biological sequence modeling at SOTA performance, with potential applications to many fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google