OAEI-LLM-T: A TBox Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching

要約

大規模な言語モデル（LLM）を使用した下流タスクでは、幻覚はしばしば避けられません。
LLMベースのオントロジーマッチング（OM）システムの幻覚に対処するという大きな課題に取り組むために、新しいベンチマークデータセットOAEI-LLM-Tを導入します。
データセットは、オントロジーアライメント評価イニシアチブ（OAEI）の7つのTBOXデータセットから進化し、OMタスクを実行する10種類のLLMSの幻覚をキャプチャします。
これらのOM固有の幻覚は、2つの主要なカテゴリと6つのサブカテゴリに編成されています。
OMタスクのLLMリーダーボードを構築し、OMタスクで使用される微調整LLMのデータセットの有用性を紹介します。

要約(オリジナル)

Hallucinations are often inevitable in downstream tasks using large language models (LLMs). To tackle the substantial challenge of addressing hallucinations for LLM-based ontology matching (OM) systems, we introduce a new benchmark dataset OAEI-LLM-T. The dataset evolves from seven TBox datasets in the Ontology Alignment Evaluation Initiative (OAEI), capturing hallucinations of ten different LLMs performing OM tasks. These OM-specific hallucinations are organised into two primary categories and six sub-categories. We showcase the usefulness of the dataset in constructing an LLM leaderboard for OM tasks and for fine-tuning LLMs used in OM tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google