TxGemma: Efficient and Agentic LLMs for Therapeutics

要約

治療的発達は、高度な失敗率にしばしば悩まされるコストと高リスクの努力です。
これに対処するために、治療的特性の予測とインタラクティブな推論と説明可能性が可能な効率的でジェネラリストの大手言語モデル（LLM）のスイートであるTXGEMMAを紹介します。
タスク固有のモデルとは異なり、TXGEMMAは多様なソースからの情報を統合し、治療開発パイプライン全体で幅広いアプリケーションを可能にします。
スイートには、小分子、タンパク質、核酸、病気、細胞株の包括的なデータセットでGemma-2から微調整された2b、9b、および27bパラメーターモデルが含まれます。
66の治療開発タスクにわたって、TXGEMMAは、64（45の上位）の最先端のジェネラリストモデルと50の最先端の専門モデル（26の上位）に対して優れたまたは同等のパフォーマンスを達成しました。
臨床試験の有害事象予測などの治療的下流タスクに関する微調整TXGEMMAモデルには、微調整ベースLLMよりも少ないトレーニングデータが必要であり、TXGEMMAがデータ制限アプリケーションに適しています。
これらの予測機能を超えて、TXGEMMAは、一般的なLLMSと特殊なプロパティ予測因子の間のギャップを埋める会話モデルを特徴としています。
これらにより、科学者は自然言語で相互作用し、分子構造に基づいた予測の機械的推論を提供し、科学的議論に従事することができます。
これに基づいて、Gemini 2.5を搭載したGeneralist Therapeutic Agent SystemであるAgent-TXをさらに紹介します。
エージェントTXは、人類の最後の試験ベンチマーク（化学と生物学）の先行モデルを上回り、GPQA（化学）のO3-MINI（高）で52.3％の相対改善、26.7％がO3-MINI（高）よりも26.7％を上回り、6.3％（ChemBench-Preference）および2.4％（Chem-Bench-Preference）の改善で優れています（高）。

要約(オリジナル)

Therapeutic development is a costly and high-risk endeavor that is often plagued by high failure rates. To address this, we introduce TxGemma, a suite of efficient, generalist large language models (LLMs) capable of therapeutic property prediction as well as interactive reasoning and explainability. Unlike task-specific models, TxGemma synthesizes information from diverse sources, enabling broad application across the therapeutic development pipeline. The suite includes 2B, 9B, and 27B parameter models, fine-tuned from Gemma-2 on a comprehensive dataset of small molecules, proteins, nucleic acids, diseases, and cell lines. Across 66 therapeutic development tasks, TxGemma achieved superior or comparable performance to the state-of-the-art generalist model on 64 (superior on 45), and against state-of-the-art specialist models on 50 (superior on 26). Fine-tuning TxGemma models on therapeutic downstream tasks, such as clinical trial adverse event prediction, requires less training data than fine-tuning base LLMs, making TxGemma suitable for data-limited applications. Beyond these predictive capabilities, TxGemma features conversational models that bridge the gap between general LLMs and specialized property predictors. These allow scientists to interact in natural language, provide mechanistic reasoning for predictions based on molecular structure, and engage in scientific discussions. Building on this, we further introduce Agentic-Tx, a generalist therapeutic agentic system powered by Gemini 2.5 that reasons, acts, manages diverse workflows, and acquires external domain knowledge. Agentic-Tx surpasses prior leading models on the Humanity’s Last Exam benchmark (Chemistry & Biology) with 52.3% relative improvement over o3-mini (high) and 26.7% over o3-mini (high) on GPQA (Chemistry) and excels with improvements of 6.3% (ChemBench-Preference) and 2.4% (ChemBench-Mini) over o3-mini (high).

arxiv情報

提供元, 利用サービス

arxiv.jp, Google