Simple, Efficient and Scalable Structure-aware Adapter Boosts Protein Language Models

要約

微調整 事前トレーニング済みタンパク質言語モデル (PLM) は、下流の予測タスクを強化するための優れた戦略として浮上しており、多くの場合、従来の教師あり学習アプローチを上回ります。
自然言語処理で広く適用されている強力な手法として、パラメーター効率の高い微調整手法を採用すると、PLM のパフォーマンスが向上する可能性があります。
ただし、トレーニング戦略とデータ形式が異なるため、ライフ サイエンス タスクへの直接移行は簡単ではありません。
このギャップに対処するために、PLM の表現学習を強化するためのシンプルで効率的かつスケーラブルなアダプター手法である SES-Adapter を導入します。
SES アダプターは、PLM エンベディングと構造シーケンス エンベディングを組み込んで、構造を認識した表現を作成します。
提案された方法がさまざまな PLM アーキテクチャおよび多様なタスクにわたって互換性があることを示します。
広範な評価は、顕著な品質の違いを持つ 2 種類の折り畳み構造、9 つの最先端のベースライン、および個別の下流タスクにわたる 9 つのベンチマーク データセットに対して行われます。
結果は、バニラ PLM と比較して、SES アダプターは下流タスクのパフォーマンスを最大 11%、平均 3% 向上させ、トレーニング速度を最大 1034%、平均 362% 大幅に加速し、収束率を示しています。
も約2倍に向上しました。
さらに、低品質の予測構造でも積極的な最適化が観察されます。
SES-Adapter のソース コードは https://github.com/tyang816/SES-Adapter で入手できます。

要約(オリジナル)

Fine-tuning Pre-trained protein language models (PLMs) has emerged as a prominent strategy for enhancing downstream prediction tasks, often outperforming traditional supervised learning approaches. As a widely applied powerful technique in natural language processing, employing Parameter-Efficient Fine-Tuning techniques could potentially enhance the performance of PLMs. However, the direct transfer to life science tasks is non-trivial due to the different training strategies and data forms. To address this gap, we introduce SES-Adapter, a simple, efficient, and scalable adapter method for enhancing the representation learning of PLMs. SES-Adapter incorporates PLM embeddings with structural sequence embeddings to create structure-aware representations. We show that the proposed method is compatible with different PLM architectures and across diverse tasks. Extensive evaluations are conducted on 2 types of folding structures with notable quality differences, 9 state-of-the-art baselines, and 9 benchmark datasets across distinct downstream tasks. Results show that compared to vanilla PLMs, SES-Adapter improves downstream task performance by a maximum of 11% and an average of 3%, with significantly accelerated training speed by a maximum of 1034% and an average of 362%, the convergence rate is also improved by approximately 2 times. Moreover, positive optimization is observed even with low-quality predicted structures. The source code for SES-Adapter is available at https://github.com/tyang816/SES-Adapter.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google