Tooling or Not Tooling? The Impact of Tools on Language Agents for Chemistry Problem Solving

要約

化学の問題解決のための大規模言語モデル (LLM) を強化するために、ChemCrow や Coscientist など、ツールで強化されたいくつかの LLM ベースのエージェントが提案されています。
ただし、それらの評価の範囲は狭いため、さまざまな化学タスクにわたるツールの利点を理解する上で大きなギャップが残されています。
このギャップを埋めるために、私たちは ChemCrow を強化した化学エージェントである ChemAgent を開発し、特殊な化学タスクと一般的な化学の質問の両方に対するそのパフォーマンスの包括的な評価を実施します。
驚くべきことに、ChemAgent は、ツールなしでは基本 LLM を常に上回るパフォーマンスを発揮しません。
化学の専門家とのエラー分析では、次のことが示唆されています。 合成予測などの特殊な化学タスクの場合は、エージェントを特殊なツールで強化する必要があります。
ただし、試験のような一般的な化学の問題の場合は、エージェントが化学の知識に基づいて正しく推論する能力の方が重要であり、ツールの拡張が常に役立つとは限りません。

要約(オリジナル)

To enhance large language models (LLMs) for chemistry problem solving, several LLM-based agents augmented with tools have been proposed, such as ChemCrow and Coscientist. However, their evaluations are narrow in scope, leaving a large gap in understanding the benefits of tools across diverse chemistry tasks. To bridge this gap, we develop ChemAgent, an enhanced chemistry agent over ChemCrow, and conduct a comprehensive evaluation of its performance on both specialized chemistry tasks and general chemistry questions. Surprisingly, ChemAgent does not consistently outperform its base LLMs without tools. Our error analysis with a chemistry expert suggests that: For specialized chemistry tasks, such as synthesis prediction, we should augment agents with specialized tools; however, for general chemistry questions like those in exams, agents’ ability to reason correctly with chemistry knowledge matters more, and tool augmentation does not always help.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google