Transformers in Protein: A Survey

要約

タンパク質情報学が急速に進むにつれて、予測精度、構造分析、および機能的理解の向上の需要が強化されています。
強力な深い学習アーキテクチャとしての変圧器モデルは、タンパク質研究全体の多様な課題に対処する上で前例のない可能性を実証しています。
ただし、この分野でのトランスアプリケーションの包括的なレビューはまだ不足しています。
このペーパーは、100を超える研究を調査することにより、このギャップを橋渡しし、タンパク質関連のタスクにおける変圧器の実用的な実装と研究の進歩の詳細な分析を提供します。
私たちのレビューは、タンパク質構造の予測、機能予測、タンパク質 – タンパク質相互作用分析、機能的注釈、および創薬/ターゲットの識別など、重要なドメインを体系的にカバーしています。
さまざまなタンパク質ドメインでこれらの進歩を文脈化するために、ドメイン指向の分類システムを採用します。
最初に基本的な概念を紹介します：トランスアーキテクチャと注意メカニズム、タンパク質科学に合わせた変圧器のバリアントを分類し、本質的なタンパク質知識を要約します。
各研究ドメインについて、その目的と背景の概要を説明し、以前の方法とその制限を批判的に評価し、トランスモデルによって可能になった変革的貢献を強調します。
また、再現性とベンチマークを促進するために、重要なデータセットとオープンソースコードリソースをキュレートして要約します。
最後に、トランスをタンパク質情報学に適用する際の持続的な課題について説明し、将来の研究の方向性を提案します。
このレビューの目的は、変圧器とタンパク質の情報学の相乗的な統合のための統合された基盤を提供し、現場でのさらなる革新と拡大されたアプリケーションを促進することを目的としています。

要約(オリジナル)

As protein informatics advances rapidly, the demand for enhanced predictive accuracy, structural analysis, and functional understanding has intensified. Transformer models, as powerful deep learning architectures, have demonstrated unprecedented potential in addressing diverse challenges across protein research. However, a comprehensive review of Transformer applications in this field remains lacking. This paper bridges this gap by surveying over 100 studies, offering an in-depth analysis of practical implementations and research progress of Transformers in protein-related tasks. Our review systematically covers critical domains, including protein structure prediction, function prediction, protein-protein interaction analysis, functional annotation, and drug discovery/target identification. To contextualize these advancements across various protein domains, we adopt a domain-oriented classification system. We first introduce foundational concepts: the Transformer architecture and attention mechanisms, categorize Transformer variants tailored for protein science, and summarize essential protein knowledge. For each research domain, we outline its objectives and background, critically evaluate prior methods and their limitations, and highlight transformative contributions enabled by Transformer models. We also curate and summarize pivotal datasets and open-source code resources to facilitate reproducibility and benchmarking. Finally, we discuss persistent challenges in applying Transformers to protein informatics and propose future research directions. This review aims to provide a consolidated foundation for the synergistic integration of Transformer and protein informatics, fostering further innovation and expanded applications in the field.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google