OneProt: Towards Multi-Modal Protein Foundation Models

要約

人工知能の最近の進歩により、マルチモーダルシステムは多様な情報スペースをモデル化および翻訳することができました。
テキストとビジョンを超えて拡張して、構造、シーケンス、テキスト、および結合サイトデータを統合するタンパク質のマルチモーダルAIであるOneProtを紹介します。
ImageBindフレームワークを使用して、OneProtは、完全な一致を必要とするのではなく、シーケンスデータとのペアワイズアライメントに焦点を当てる軽量の微調整スキームに、タンパク質モダリティエンコーダーの潜在スペースを整列させます。
この新しいアプローチは、グラフニューラルネットワークとトランスアーキテクチャの組み合わせで構成されています。
検索タスクの強力なパフォーマンスを実証し、酵素機能予測や結合部位分析を含む幅広い下流のベースラインを通じて、タンパク質機械学習におけるマルチモーダルシステムの有効性を紹介します。
さらに、OneProtは、特殊なエンコーダーからシーケンスエンコーダーへの表現情報の転送を可能にし、進化的に関連していないシーケンスを区別し、進化的に関連するタンパク質が潜在空間内の同様の方向に整列する表現特性を示すための機能を強化します。
さらに、モダリティアブレーションを広範囲に調査して、予測パフォーマンスに最も貢献するエンコーダーを特定し、以前は同様のモデルで使用されていなかったバインディングサイトエンコーダーの重要性を強調しています。
この作業は、多モーダルタンパク質モデルの範囲を拡大し、創薬、生物触媒反応計画、およびタンパク質工学における変換用途への道を開いています。

要約(オリジナル)

Recent advances in Artificial Intelligence have enabled multi-modal systems to model and translate diverse information spaces. Extending beyond text and vision, we introduce OneProt, a multi-modal AI for proteins that integrates structural, sequence, text, and binding site data. Using the ImageBind framework, OneProt aligns the latent spaces of protein modality encoders in a lightweight fine-tuning scheme that focuses on pairwise alignment with sequence data rather than requiring full matches. This novel approach comprises a mix of Graph Neural Networks and transformer architectures. It demonstrates strong performance in retrieval tasks and showcases the efficacy of multi-modal systems in Protein Machine Learning through a broad spectrum of downstream baselines, including enzyme function prediction and binding site analysis. Furthermore, OneProt enables the transfer of representational information from specialized encoders to the sequence encoder, enhancing capabilities for distinguishing evolutionarily related and unrelated sequences and exhibiting representational properties where evolutionarily related proteins align in similar directions within the latent space. In addition, we extensively investigate modality ablations to identify the encoders that contribute most to predictive performance, highlighting the significance of the binding site encoder, which has not been used in similar models previously. This work expands the horizons of multi-modal protein models, paving the way for transformative applications in drug discovery, biocatalytic reaction planning, and protein engineering.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google