Towards Reliable Latent Knowledge Estimation in LLMs: In-Context Learning vs. Prompting Based Factual Knowledge Extraction

要約

我々は、大規模言語モデル (LLM) 内に埋め込まれた潜在知識を推定するためのアプローチを提案します。
LLM のインコンテキスト学習 (ICL) 機能を活用して、LLM がナレッジ ベースに保存されている事実をどの程度知っているかを推定します。
私たちの知識推定ツールは、以前のプロンプトベースの方法に伴う信頼性の問題を回避し、概念的にシンプルで適用しやすく、LLM に埋め込まれた潜在的な知識をより多く表面化できることを実証します。
また、さまざまな設計の選択が ICL ベースの知識推定のパフォーマンスにどのような影響を与えるかについても調査します。
提案された推定ツールを使用して、OPT、Pythia、Llama(2)、Mistral、Gemma などのさまざまなオープンソース LLM の事実知識の大規模な評価を、大規模な関係と事実のセットに対して実行します。
ウィキデータの知識ベース。
さまざまなモデルファミリーやさまざまなサイズのモデル間の事実知識の違い、一部の関係は他の関係よりも一貫してよく知られているが、モデルごとに知っている正確な事実が異なること、ベースモデルとその微調整された対応部分の知識の違いが観察されます。

要約(オリジナル)

We propose an approach for estimating the latent knowledge embedded inside large language models (LLMs). We leverage the in-context learning (ICL) abilities of LLMs to estimate the extent to which an LLM knows the facts stored in a knowledge base. Our knowledge estimator avoids reliability concerns with previous prompting-based methods, is both conceptually simpler and easier to apply, and we demonstrate that it can surface more of the latent knowledge embedded in LLMs. We also investigate how different design choices affect the performance of ICL-based knowledge estimation. Using the proposed estimator, we perform a large-scale evaluation of the factual knowledge of a variety of open source LLMs, like OPT, Pythia, Llama(2), Mistral, Gemma, etc. over a large set of relations and facts from the Wikidata knowledge base. We observe differences in the factual knowledge between different model families and models of different sizes, that some relations are consistently better known than others but that models differ in the precise facts they know, and differences in the knowledge of base models and their finetuned counterparts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google