BioMaze: Benchmarking and Enhancing Large Language Models for Biological Pathway Reasoning

要約

さまざまな生物学的領域における大規模な言語モデル（LLM）の応用が最近検討されていますが、経路などの複雑な生物学的システムでの推論能力は、生物学的現象の予測、仮説の策定、実験の設計に重要なものではありません。
この研究では、経路推論におけるLLMの可能性を探ります。
自然な動的変化、妨害、追加の介入条件、マルチスケールの研究ターゲットなどのさまざまな生物学的コンテキストをカバーする、実際の研究から派生した5.1K複合経路の問題を抱えるデータセットであるBiomazeを紹介します。
COTやグラフの高度推論などの方法の評価は、LLMが特に乱れたシステムでの経路推論と闘っていることを示しています。
これに対処するために、インタラクティブなサブグラフベースのナビゲーションを通じて推論を強化するLLMエージェントであるPathseekerを提案し、科学的に整合した方法で生物学的システムの複雑さを処理するためのより効果的なアプローチを可能にします。
データセットとコードはhttps://github.com/zhao-ht/biomazeで入手できます。

要約(オリジナル)

The applications of large language models (LLMs) in various biological domains have been explored recently, but their reasoning ability in complex biological systems, such as pathways, remains underexplored, which is crucial for predicting biological phenomena, formulating hypotheses, and designing experiments. This work explores the potential of LLMs in pathway reasoning. We introduce BioMaze, a dataset with 5.1K complex pathway problems derived from real research, covering various biological contexts including natural dynamic changes, disturbances, additional intervention conditions, and multi-scale research targets. Our evaluation of methods such as CoT and graph-augmented reasoning, shows that LLMs struggle with pathway reasoning, especially in perturbed systems. To address this, we propose PathSeeker, an LLM agent that enhances reasoning through interactive subgraph-based navigation, enabling a more effective approach to handling the complexities of biological systems in a scientifically aligned manner. The dataset and code are available at https://github.com/zhao-ht/BioMaze.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google