BioPlanner: Automatic Evaluation of LLMs on Protocol Planning in Biology

要約

科学実験用の正確なプロトコルを自動的に生成できる機能は、科学の自動化に向けた大きな一歩となるでしょう。
大規模言語モデル (LLM) は、質問応答や一貫したテキストとコードの生成など、幅広いタスクに対して優れた機能を備えています。
ただし、LLM は、科学実験を設計するために重要な複数のステップの問題や長期計画に苦労することがあります。
さらに、実験はさまざまな方法で正確に記述でき、評価するには専門知識が必要であり、通常は自動的に実行できないため、科学的プロトコルの精度の評価は困難です。
ここでは、実験プロトコルを計画するタスクのための自動評価フレームワークを紹介し、対応する擬似コード表現を備えた生物学プロトコルのデータセットである BioProt を紹介します。
科学プロトコル生成のパフォーマンスを測定するために、LLM を使用して自然言語プロトコルを擬似コードに変換し、高レベルの記述と許容される擬似コード関数のリストから擬似コードを再構築する LLM の能力を評価します。
このタスクに関して GPT-3 と GPT-4 を評価し、その堅牢性を調査します。
私たちは、取得した擬似コードを使用して正確な新しいプロトコルを生成することにより、テキストの擬似コード表現の有用性を外部から検証し、生成されたプロトコルを生物学研究室で正常に実行します。
私たちのフレームワークは、科学の他の分野や自動評価のない他の分野における言語モデル計画能力の評価と改善に拡張可能です。

要約(オリジナル)

The ability to automatically generate accurate protocols for scientific experiments would represent a major step towards the automation of science. Large Language Models (LLMs) have impressive capabilities on a wide range of tasks, such as question answering and the generation of coherent text and code. However, LLMs can struggle with multi-step problems and long-term planning, which are crucial for designing scientific experiments. Moreover, evaluation of the accuracy of scientific protocols is challenging, because experiments can be described correctly in many different ways, require expert knowledge to evaluate, and cannot usually be executed automatically. Here we present an automatic evaluation framework for the task of planning experimental protocols, and we introduce BioProt: a dataset of biology protocols with corresponding pseudocode representations. To measure performance on generating scientific protocols, we use an LLM to convert a natural language protocol into pseudocode, and then evaluate an LLM’s ability to reconstruct the pseudocode from a high-level description and a list of admissible pseudocode functions. We evaluate GPT-3 and GPT-4 on this task and explore their robustness. We externally validate the utility of pseudocode representations of text by generating accurate novel protocols using retrieved pseudocode, and we run a generated protocol successfully in our biological laboratory. Our framework is extensible to the evaluation and improvement of language model planning abilities in other areas of science or other areas that lack automatic evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google