Dynamic Retrieval Augmented Generation of Ontologies using Artificial Intelligence (DRAGON-AI)

要約

背景: オントロジーは、生物医学、環境科学、食品科学などの分野における情報学インフラストラクチャの基本的なコンポーネントであり、コンセンサス知識を正確かつ計算可能な形式で表します。
ただし、その構築と保守には多大なリソースが必要であり、ドメインの専門家、キュレーター、オントロジーの専門家間の実質的な協力が必要です。
我々は、大規模言語モデル (LLM) と検索拡張生成 (RAG) を使用したオントロジー生成方法である、AI を使用したオントロジーの動的検索拡張生成 (DRAGON-AI) を紹介します。
DRAGON-AI は、複数のオントロジーと非構造化テキスト ソースの既存の知識を活用して、テキストおよび論理オントロジー コンポーネントを生成できます。
結果: 結果の広範な手動評価を利用して、10 個の多様なオントロジーにわたる de novo 用語構築における DRAGON-AI のパフォーマンスを評価しました。
私たちの方法は関係生成の精度は高いですが、ロジックベースの推論よりも精度がわずかに低くなります。
私たちの方法は、専門の評価者によって受け入れられると思われる定義を生成することもできますが、これらのスコアは人間が作成した定義よりも悪くなります。
特に、ドメインに対して最高レベルの信頼を持った評価者は、AI が生成した定義の欠陥をよりよく識別できました。
また、GitHub の問題の形式で自然言語命令を組み込む DRAGON-AI の機能も実証しました。
結論: これらの発見は、DRAGON-AI が手動オントロジー構築プロセスを大幅に支援する可能性を示唆しています。
ただし、私たちの結果は、専門のキュレーターとオントロジー編集者がオントロジー生成プロセスを推進することの重要性も強調しています。

要約(オリジナル)

Background: Ontologies are fundamental components of informatics infrastructure in domains such as biomedical, environmental, and food sciences, representing consensus knowledge in an accurate and computable form. However, their construction and maintenance demand substantial resources and necessitate substantial collaboration between domain experts, curators, and ontology experts. We present Dynamic Retrieval Augmented Generation of Ontologies using AI (DRAGON-AI), an ontology generation method employing Large Language Models (LLMs) and Retrieval Augmented Generation (RAG). DRAGON-AI can generate textual and logical ontology components, drawing from existing knowledge in multiple ontologies and unstructured text sources. Results: We assessed performance of DRAGON-AI on de novo term construction across ten diverse ontologies, making use of extensive manual evaluation of results. Our method has high precision for relationship generation, but has slightly lower precision than from logic-based reasoning. Our method is also able to generate definitions deemed acceptable by expert evaluators, but these scored worse than human-authored definitions. Notably, evaluators with the highest level of confidence in a domain were better able to discern flaws in AI-generated definitions. We also demonstrated the ability of DRAGON-AI to incorporate natural language instructions in the form of GitHub issues. Conclusions: These findings suggest DRAGON-AI’s potential to substantially aid the manual ontology construction process. However, our results also underscore the importance of having expert curators and ontology editors drive the ontology generation process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google