Improving Scientific Hypothesis Generation with Knowledge Grounded Large Language Models

要約

大規模言語モデル (LLM) は、自然言語処理から複雑な問題解決タスクに至るまで、さまざまな科学分野で優れた機能を実証してきました。
人間のようなテキストを理解して生成する彼らの能力は、科学研究を進めるための新たな可能性を切り開き、データ分析、文献レビュー、さらには実験計画などのタスクを可能にします。
この状況における LLM の最も有望な用途の 1 つは、既存の知識を分析することで新しい研究の方向性を特定できる仮説生成です。
ただし、その可能性にもかかわらず、LLM は「幻覚」、つまり、もっともらしく聞こえるが事実が間違っている出力を生成する傾向があります。
このような問題は、厳密な精度と検証可能性が要求される科学分野において重大な課題をもたらし、誤った結論や誤解を招く結論につながる可能性があります。
これらの課題を克服するために、我々は、ナレッジグラフ（KG）からの外部の構造化された知識を統合することによってLLM仮説生成を強化する新しいシステムであるKG-CoI（Knowledge Grounded Chain of Ideas）を提案します。
KG-CoI は、構造化された推論プロセスを通じて LLM をガイドし、その出力をアイデアの連鎖 (CoI) として編成します。また、幻覚の検出のための KG がサポートするモジュールが含まれています。
新たに構築した仮説生成データセットの実験により、KG-CoI が LLM によって生成された仮説の精度を向上させるだけでなく、その推論連鎖における幻覚を軽減することを実証し、現実世界の科学研究の進歩におけるその有効性を強調しています。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities in various scientific domains, from natural language processing to complex problem-solving tasks. Their ability to understand and generate human-like text has opened up new possibilities for advancing scientific research, enabling tasks such as data analysis, literature review, and even experimental design. One of the most promising applications of LLMs in this context is hypothesis generation, where they can identify novel research directions by analyzing existing knowledge. However, despite their potential, LLMs are prone to generating “hallucinations”, outputs that are plausible-sounding but factually incorrect. Such a problem presents significant challenges in scientific fields that demand rigorous accuracy and verifiability, potentially leading to erroneous or misleading conclusions. To overcome these challenges, we propose KG-CoI (Knowledge Grounded Chain of Ideas), a novel system that enhances LLM hypothesis generation by integrating external, structured knowledge from knowledge graphs (KGs). KG-CoI guides LLMs through a structured reasoning process, organizing their output as a chain of ideas (CoI), and includes a KG-supported module for the detection of hallucinations. With experiments on our newly constructed hypothesis generation dataset, we demonstrate that KG-CoI not only improves the accuracy of LLM-generated hypotheses but also reduces the hallucination in their reasoning chains, highlighting its effectiveness in advancing real-world scientific research.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google