A Sober Look at LLMs for Material Discovery: Are They Actually Good for Bayesian Optimization Over Molecules?

要約

自動化は、現代のマテリアル発見の基礎の 1 つです。
ベイジアン最適化 (BO) はこのようなワークフローに不可欠な部分であり、科学者が以前のドメイン知識を活用して大きな分子空間を効率的に探索できるようになります。
このような事前知識はさまざまな形をとる可能性がありますが、大規模言語モデル (LLM) にカプセル化された補助的な科学知識を中心に大々的に宣伝されてきました。
ただし、これまでの既存の研究では、ヒューリスティックなマテリアル検索のための LLM のみが検討されてきました。
実際、最近の研究では、BO の不可欠な部分である不確実性推定値を、点推定された非ベイジアン LLM から取得しています。
この研究では、LLM が分子空間における原則に基づいたベイズ最適化を加速するのに実際に役立つかどうかという問題を研究します。
私たちはこの質問に対して、冷静かつ冷静な立場で答えます。
これは、(i) LLM を標準的だが原理的な BO サロゲート モデルの固定特徴抽出器として注意深く見ること、および (ii) パラメータ効率の高い微調整方法とベイジアン ニューラル ネットワークを活用して LLM サロゲートの事後を取得することによって行われます。
現実世界の化学問題に関する私たちの広範な実験は、LLM が分子よりも BO に有用であることを示していますが、それはドメイン固有のデータで事前トレーニングまたは微調整されている場合に限られます。

要約(オリジナル)

Automation is one of the cornerstones of contemporary material discovery. Bayesian optimization (BO) is an essential part of such workflows, enabling scientists to leverage prior domain knowledge into efficient exploration of a large molecular space. While such prior knowledge can take many forms, there has been significant fanfare around the ancillary scientific knowledge encapsulated in large language models (LLMs). However, existing work thus far has only explored LLMs for heuristic materials searches. Indeed, recent work obtains the uncertainty estimate — an integral part of BO — from point-estimated, non-Bayesian LLMs. In this work, we study the question of whether LLMs are actually useful to accelerate principled Bayesian optimization in the molecular space. We take a sober, dispassionate stance in answering this question. This is done by carefully (i) viewing LLMs as fixed feature extractors for standard but principled BO surrogate models and by (ii) leveraging parameter-efficient finetuning methods and Bayesian neural networks to obtain the posterior of the LLM surrogate. Our extensive experiments with real-world chemistry problems show that LLMs can be useful for BO over molecules, but only if they have been pretrained or finetuned with domain-specific data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google