Hallucinations Can Improve Large Language Models in Drug Discovery

要約

大規模言語モデル (LLM) における幻覚についての懸念が研究者らによって提起されていますが、創薬などの創造性が重要な分野における LLM の可能性は探求する価値があります。
この論文では、幻覚が創薬におけるLLMを改善できるという仮説を立てています。
この仮説を検証するために、LLM を使用して分子の SMILES 文字列を自然言語で記述し、創薬における特定のタスクに取り組むためのプロンプトの一部としてこれらの記述を組み込みます。
7 つの LLM と 5 つの分類タスクで評価した結果、LLM は幻覚を含むテキストでより良いパフォーマンスを達成できるという仮説が裏付けられました。
特に、Llama-3.1-8B は、幻覚なしのベースラインと比較して ROC-AUC が 18.35% 増加しました。
さらに、GPT-4o によって生成される幻覚は、モデル全体で最も一貫した改善をもたらします。
さらに、パフォーマンスに影響を与える主要な要因とその根本的な理由を調査するために、実証分析とケーススタディを実施します。
私たちの研究は、LLM の幻覚利用の可能性に光を当て、創薬において LLM を活用する将来の研究に新たな展望を提供します。

要約(オリジナル)

Concerns about hallucinations in Large Language Models (LLMs) have been raised by researchers, yet their potential in areas where creativity is vital, such as drug discovery, merits exploration. In this paper, we come up with the hypothesis that hallucinations can improve LLMs in drug discovery. To verify this hypothesis, we use LLMs to describe the SMILES string of molecules in natural language and then incorporate these descriptions as part of the prompt to address specific tasks in drug discovery. Evaluated on seven LLMs and five classification tasks, our findings confirm the hypothesis: LLMs can achieve better performance with text containing hallucinations. Notably, Llama-3.1-8B achieves an 18.35% gain in ROC-AUC compared to the baseline without hallucination. Furthermore, hallucinations generated by GPT-4o provide the most consistent improvements across models. Additionally, we conduct empirical analyses and a case study to investigate key factors affecting performance and the underlying reasons. Our research sheds light on the potential use of hallucinations for LLMs and offers new perspectives for future research leveraging LLMs in drug discovery.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google