Large language models surpass human experts in predicting neuroscience results

要約

科学的発見は多くの場合、数十年にわたる研究の総合にかかっており、この作業は人間の情報処理能力を超える可能性があります。
大規模言語モデル (LLM) がソリューションを提供します。
膨大な科学文献に基づいて訓練された LLM は、ノイズが多いものの相互に関連する発見を統合して、人間の専門家よりも優れた新しい結果を予測できる可能性があります。
この可能性を評価するために、神経科学の結果を予測するための将来を見据えたベンチマークである BrainBench を作成しました。
LLM は実験結果の予測において専門家を上回っていることがわかりました。
BrainGPT は、神経科学の文献に基づいて調整された LLM であり、さらに優れたパフォーマンスを示しました。
人間の専門家と同様に、LLM が自分の予測に自信を持っている場合、その予測は正しい可能性が高くなります。これは、人間と LLM が協力して発見を行う未来を予感させます。
私たちのアプローチは神経科学に特化したものではなく、他の知識集約的な取り組みにも応用可能です。

要約(オリジナル)

Scientific discoveries often hinge on synthesizing decades of research, a task that potentially outstrips human information processing capacities. Large language models (LLMs) offer a solution. LLMs trained on the vast scientific literature could potentially integrate noisy yet interrelated findings to forecast novel results better than human experts. To evaluate this possibility, we created BrainBench, a forward-looking benchmark for predicting neuroscience results. We find that LLMs surpass experts in predicting experimental outcomes. BrainGPT, an LLM we tuned on the neuroscience literature, performed better yet. Like human experts, when LLMs were confident in their predictions, they were more likely to be correct, which presages a future where humans and LLMs team together to make discoveries. Our approach is not neuroscience-specific and is transferable to other knowledge-intensive endeavors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google