Structure-Enhanced Protein Instruction Tuning: Towards General-Purpose Protein Understanding

要約

タンパク質は重要な生体分子として、代謝反応やDNA複製などの生物学的プロセスにおいて中心的な役割を果たしている。その特性や機能を正確に予測することは、生物学的応用において極めて重要である。最近開発された教師ありファインチューニングによるタンパク質言語モデル（pLM）は、この問題に対する有望な解決策を提供する。しかし、ファインチューニングされたモデルは、特定の下流予測タスクに合わせて調整されており、汎用的なタンパク質理解を達成することは依然として課題である。本論文では、このギャップを埋めるために、Structure-Enhanced Protein Instruction Tuning (SEPIT)フレームワークを紹介する。本アプローチでは、構造認識モジュールをpLMに統合することで、pLMに構造知識を付与し、この強化されたpLMを大規模言語モデル（LLM）に接続することで、タンパク質の理解を生み出す。このフレームワークでは、まずキャプションベースの命令によってタンパク質の基本的な理解を確立し、次に混合エキスパート（MoE）を用いてこの理解を洗練させ、同じ量の活性化パラメータでより複雑な特性や機能情報を学習する、新しい2段階の命令チューニングパイプラインを提案する。さらに、これまでで最大かつ最も包括的なタンパク質指示データセットを構築し、汎用的なタンパク質理解モデルの訓練と評価を可能にする。オープンエンドの生成タスクとクローズドセットの回答タスクに関する広範な実験結果は、クローズドソースの一般的なLLMとタンパク質の知識で訓練されたオープンソースのLLMの両方に対するSEPITの優れた性能を実証している。

要約(オリジナル)

Proteins, as essential biomolecules, play a central role in biological processes, including metabolic reactions and DNA replication. Accurate prediction of their properties and functions is crucial in biological applications. Recent development of protein language models (pLMs) with supervised fine tuning provides a promising solution to this problem. However, the fine-tuned model is tailored for particular downstream prediction task, and achieving general-purpose protein understanding remains a challenge. In this paper, we introduce Structure-Enhanced Protein Instruction Tuning (SEPIT) framework to bridge this gap. Our approach integrates a noval structure-aware module into pLMs to inform them with structural knowledge, and then connects these enhanced pLMs to large language models (LLMs) to generate understanding of proteins. In this framework, we propose a novel two-stage instruction tuning pipeline that first establishes a basic understanding of proteins through caption-based instructions and then refines this understanding using a mixture of experts (MoEs) to learn more complex properties and functional information with the same amount of activated parameters. Moreover, we construct the largest and most comprehensive protein instruction dataset to date, which allows us to train and evaluate the general-purpose protein understanding model. Extensive experimental results on open-ended generation and closed-set answer tasks demonstrate the superior performance of SEPIT over both closed-source general LLMs and open-source LLMs trained with protein knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL