On Pre-trained Language Models for Antibody

要約

抗体は、病原体から人体を強力に保護する重要なタンパク質です。
一般的なタンパク質および抗体固有の事前トレーニング済み言語モデルの開発は、どちらも抗体予測タスクを容易にします。
ただし、さまざまな抗体タスクでの個別の事前トレーニング済み言語モデルの表現能力を包括的に調査する研究は限られています。
この問題を調査するために、このホワイトペーパーでは、さまざまな特異性を持つ抗体タスクで事前トレーニング済みの言語モデルがどのように機能するか、事前トレーニングプロセスに特定の生物学的メカニズムを導入することでモデルにどのようなメリットがあるかなど、いくつかの重要な質問に答えることを目指しています。
さらに、学習済みの抗体の事前トレーニング済みの表現が、創薬や免疫プロセスの理解など、実際の抗体の問題に適用できるかどうかを評価します。
以前は、これらの質問に答えるための研究を大きく妨げる利用可能なベンチマークはありませんでした。
調査を支援するために、AnTibody Understanding Evaluation (ATUE) ベンチマークを提供しています。
経験的研究と結論および新しい洞察により、事前にトレーニングされたタンパク質言語モデルのパフォーマンスを包括的に評価します。
私たちの ATUE とコードは、https://github.com/dqwang122/EATLM でリリースされています。

要約(オリジナル)

Antibodies are vital proteins offering robust protection for the human body from pathogens. The development of general protein and antibody-specific pre-trained language models both facilitate antibody prediction tasks. However, there have been limited studies that comprehensively explore the representation capability of distinct pre-trained language models on different antibody tasks. To investigate the problem, we aim to answer several key questions in this paper, such as how pre-trained language models perform in antibody tasks with different specificity and how introducing specific biological mechanisms to the pre-training process can benefit the model. Additionally, we evaluate if the learned antibody pre-trained representations can be applied to real-world antibody problems, like drug discovery and immune process understanding. Previously, no benchmark available largely hindered the study to answer these questions. To aid in our investigation, we provide an AnTibody Understanding Evaluation (ATUE) benchmark. We comprehensively evaluate the performance of protein pre-trained language models by empirical study along with conclusions and new insights. Our ATUE and code are released at https://github.com/dqwang122/EATLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google