Knowledge Graph Question Answering for Materials Science (KGQA4MAT): Developing Natural Language Interface for Metal-Organic Frameworks Knowledge Graph (MOF-KG) Using LLM

要約

金属有機フレームワーク (MOF) に焦点を当てた、材料科学におけるナレッジ グラフ質問応答 (KGQA4MAT) の包括的なベンチマーク データセットを紹介します。
金属有機フレームワークのナレッジ グラフ (MOF-KG) は、構造化データベースと文献から抽出された知識を統合することによって構築されました。
ドメイン専門家にとって MOF-KG のアクセシビリティを向上させるために、ナレッジ グラフをクエリするための自然言語インターフェイスを開発することを目指しています。
私たちは、比較、集計、複雑なグラフ構造を含む 161 の複雑な質問で構成されるベンチマークを開発しました。
各質問はさらに 3 つのバリエーションに言い換えられ、644 の質問と 161 KG のクエリが生成されます。
ベンチマークを評価するために、LLM、ChatGPT を利用して自然言語の質問を正式な KG クエリに変換する体系的なアプローチを開発しました。
また、このアプローチをよく知られた QALD-9 データセットにも適用し、さまざまなプラットフォームやクエリ言語の KGQA 問題に対処する際の ChatGPT の可能性を実証します。
ベンチマークと提案されたアプローチは、ドメイン固有の材料科学知識グラフをクエリするためのユーザーフレンドリーで効率的なインターフェイスのさらなる研究開発を促進し、それによって新規材料の発見を加速することを目的としています。

要約(オリジナル)

We present a comprehensive benchmark dataset for Knowledge Graph Question Answering in Materials Science (KGQA4MAT), with a focus on metal-organic frameworks (MOFs). A knowledge graph for metal-organic frameworks (MOF-KG) has been constructed by integrating structured databases and knowledge extracted from the literature. To enhance MOF-KG accessibility for domain experts, we aim to develop a natural language interface for querying the knowledge graph. We have developed a benchmark comprised of 161 complex questions involving comparison, aggregation, and complicated graph structures. Each question is rephrased in three additional variations, resulting in 644 questions and 161 KG queries. To evaluate the benchmark, we have developed a systematic approach for utilizing the LLM, ChatGPT, to translate natural language questions into formal KG queries. We also apply the approach to the well-known QALD-9 dataset, demonstrating ChatGPT’s potential in addressing KGQA issues for different platforms and query languages. The benchmark and the proposed approach aim to stimulate further research and development of user-friendly and efficient interfaces for querying domain-specific materials science knowledge graphs, thereby accelerating the discovery of novel materials.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google