Do LLMs Really Adapt to Domains? An Ontology Learning Perspective

要約

大規模言語モデル (LLM) は、さまざまなアプリケーション ドメインのさまざまな自然言語処理タスクにわたって前例のない能力を実証してきました。
最近の研究では、LLM を活用して、知識ベース補完 (KBC) やオントロジー学習 (OL) などの語彙意味論的なタスクを実行できることが示されています。
しかし、彼らの成功が非構造化データまたは半構造化データを推論する能力によるものなのか、それとも言語パターンと感覚のみの効果的な学習によるものなのかは、効果的に検証されていません。
この未解決の質問は、語彙の意味とその意味が LLM がトレーニング段階で学習したものと完全に異なる可能性があるドメイン固有のデータを扱う場合に特に重要です。
この論文では、LLM は本当にドメインに適応し、構造化された知識の抽出において一貫性を保っているのか、それとも推論ではなく語彙の意味だけを学習するのか、という疑問を調査します。
この質問に答えるために、私たちは WordNet を使用して英語と意味不明の用語を含む並列コーパスを合成する制御された実験セットアップを考案しました。
関係抽出と分類法の発見という 2 つの OL タスクで、各コーパスの LLM の出力の違いを調べます。
経験的な結果によると、既製の LLM は意味不明なコーパスに適応しながらも、概念間の意味論的な関係を一貫して推論せず、代わりに感覚とそのフレームを活用します。
ただし、微調整により、ドメイン固有の用語が恣意的で事前トレーニング中に表示されない場合でも、語彙意味論的タスクにおける LLM のパフォーマンスが向上します。これは、事前トレーニングされた LLM が OL に適用できることを示唆しています。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated unprecedented prowess across various natural language processing tasks in various application domains. Recent studies show that LLMs can be leveraged to perform lexical semantic tasks, such as Knowledge Base Completion (KBC) or Ontology Learning (OL). However, it has not effectively been verified whether their success is due to their ability to reason over unstructured or semi-structured data, or their effective learning of linguistic patterns and senses alone. This unresolved question is particularly crucial when dealing with domain-specific data, where the lexical senses and their meaning can completely differ from what a LLM has learned during its training stage. This paper investigates the following question: Do LLMs really adapt to domains and remain consistent in the extraction of structured knowledge, or do they only learn lexical senses instead of reasoning? To answer this question and, we devise a controlled experiment setup that uses WordNet to synthesize parallel corpora, with English and gibberish terms. We examine the differences in the outputs of LLMs for each corpus in two OL tasks: relation extraction and taxonomy discovery. Empirical results show that, while adapting to the gibberish corpora, off-the-shelf LLMs do not consistently reason over semantic relationships between concepts, and instead leverage senses and their frame. However, fine-tuning improves the performance of LLMs on lexical semantic tasks even when the domain-specific terms are arbitrary and unseen during pre-training, hinting at the applicability of pre-trained LLMs for OL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google