Do LLMs Dream of Ontologies?

要約

大規模言語モデル (LLM) は最近、自動化されたテキストの理解と生成に革命をもたらしました。
これらのモデルのパフォーマンスは、基礎となるニューラル アーキテクチャの多数のパラメーターに依存しており、LLM はトレーニング中に見られる膨大な量のデータの一部を記憶することができます。
この論文では、汎用の事前トレーニング済み LLM が既知のオントロジーからの情報を記憶しているかどうか、またどの程度まで記憶しているかを調査します。
私たちの結果は、LLM がオントロジーを部分的に知っていることを示しています。LLM はテキストで言及されているオントロジーの概念を記憶することができ、実際に記憶していますが、概念の記憶レベルは、トレーニングの主な情報源である Web での人気に比例して変化するようです。
材料。
さらに、さまざまなプロンプトの繰り返し、クエリ言語、および決定性の程度にわたって生成される出力の一貫性を測定することによって、LLM のオントロジー情報の記憶の程度を推定するための新しい指標を提案します。

要約(オリジナル)

Large language models (LLMs) have recently revolutionized automated text understanding and generation. The performance of these models relies on the high number of parameters of the underlying neural architectures, which allows LLMs to memorize part of the vast quantity of data seen during the training. This paper investigates whether and to what extent general-purpose pre-trained LLMs have memorized information from known ontologies. Our results show that LLMs partially know ontologies: they can, and do indeed, memorize concepts from ontologies mentioned in the text, but the level of memorization of their concepts seems to vary proportionally to their popularity on the Web, the primary source of their training material. We additionally propose new metrics to estimate the degree of memorization of ontological information in LLMs by measuring the consistency of the output produced across different prompt repetitions, query languages, and degrees of determinism.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google