A RAG Approach for Generating Competency Questions in Ontology Engineering

要約

コンピテンシー質問 (CQ) の定式化は、いくつかのオントロジー開発および評価方法論の中心となります。
従来、これらのコンピテンシーに関する質問を作成するタスクは、ドメインの専門家やナレッジ エンジニアの労力に大きく依存しており、多くの場合、時間と労力がかかります。
大規模言語モデル (LLM) の出現により、このプロセスを自動化および強化できる可能性が生まれました。
既存のオントロジーやナレッジ グラフを LLM への入力として使用する他の同様の研究とは異なり、ドメイン知識ベースとみなされる科学論文のセットを考慮して CQ を自動生成するために LLM を使用する検索拡張生成 (RAG) アプローチを紹介します。
私たちはそのパフォーマンスを調査し、特に、紙の枚数の違いによる RAG への影響や LLM の温度設定の違いを研究しています。
GPT-4 を使用して 2 つのドメイン オントロジー エンジニアリング タスクで実験を実施し、結果をドメイン専門家によって構築されたグラウンドトゥルース CQ と比較します。
評価指標 (精度と一貫性) を利用した結果の経験的評価により、ゼロショット プロンプトと比較して、関連するドメイン知識を RAG に追加すると、具体的なオントロジー エンジニアリング タスクの CQ 生成における LLM のパフォーマンスが向上することが明らかになりました。

要約(オリジナル)

Competency question (CQ) formulation is central to several ontology development and evaluation methodologies. Traditionally, the task of crafting these competency questions heavily relies on the effort of domain experts and knowledge engineers which is often time-consuming and labor-intensive. With the emergence of Large Language Models (LLMs), there arises the possibility to automate and enhance this process. Unlike other similar works which use existing ontologies or knowledge graphs as input to LLMs, we present a retrieval-augmented generation (RAG) approach that uses LLMs for the automatic generation of CQs given a set of scientific papers considered to be a domain knowledge base. We investigate its performance and specifically, we study the impact of different number of papers to the RAG and different temperature setting of the LLM. We conduct experiments using GPT-4 on two domain ontology engineering tasks and compare results against ground-truth CQs constructed by domain experts. Empirical assessments on the results, utilizing evaluation metrics (precision and consistency), reveal that compared to zero-shot prompting, adding relevant domain knowledge to the RAG improves the performance of LLMs on generating CQs for concrete ontology engineering tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google