OAEI-LLM-T: A TBox Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching

要約

大規模な言語モデル（LLM）を使用した下流タスクでは、幻覚はしばしば避けられません。
LLMベースのオントロジーマッチング（OM）システムの幻覚に対処するという大幅な課題に取り組むために、OAEI-LLM-Tと呼ばれる新しいベンチマークデータセットを導入します。
データセットは、オントロジーアライメント評価イニシアチブ（OAEI）のTBOX（つまり、スキーママッチング）データセットから進化し、OMタスクを実行するさまざまなLLMの幻覚をキャプチャします。
これらのOM固有の幻覚は、2つの主要なカテゴリと6つのサブカテゴリに慎重に分類されます。
LLMリーダーボードとLLMベースのOMシステム用の微調整基礎LLMを構築する際のデータセットの有用性を紹介します。

要約(オリジナル)

Hallucinations are often inevitable in downstream tasks using large language models (LLMs). To tackle the substantial challenge of addressing hallucinations for LLM-based ontology matching (OM) systems, we introduce a new benchmark dataset called OAEI-LLM-T. The dataset evolves from the TBox (i.e. schema-matching) datasets in the Ontology Alignment Evaluation Initiative (OAEI), capturing hallucinations of different LLMs performing OM tasks. These OM-specific hallucinations are carefully classified into two primary categories and six sub-categories. We showcase the usefulness of the dataset in constructing the LLM leaderboard and fine-tuning foundational LLMs for LLM-based OM systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google