Large language models converge toward human-like concept organization

要約

大規模な言語モデルは、知識の抽出、推論、対話において人間のようなパフォーマンスを示しますが、このパフォーマンスが記憶とパターン マッチングによって最もよく説明されるのか、それとも人間のような推論意味論や世界知識を反映しているのかについては依然として議論の余地があります。
WikiData などの知識ベースは、推論意味論と世界知識の大規模で高品質な表現を提供します。
私たちは、大規模な言語モデルが、そのような知識ベースで概念が編成される方法と非常によく似た方法で概念を編成することを学習することを示します。
知識ベース モデルは集合的で組織的な知識であり、大規模な言語モデルは生のテキストからそのような知識を誘導するようです。
私たちは、言語モデルの 4 つのファミリーと 3 つのナレッジ グラフ埋め込みにわたって、より大きく優れたモデルがより人間らしい概念構成を示すことを示します。

要約(オリジナル)

Large language models show human-like performance in knowledge extraction, reasoning and dialogue, but it remains controversial whether this performance is best explained by memorization and pattern matching, or whether it reflects human-like inferential semantics and world knowledge. Knowledge bases such as WikiData provide large-scale, high-quality representations of inferential semantics and world knowledge. We show that large language models learn to organize concepts in ways that are strikingly similar to how concepts are organized in such knowledge bases. Knowledge bases model collective, institutional knowledge, and large language models seem to induce such knowledge from raw text. We show that bigger and better models exhibit more human-like concept organization, across four families of language models and three knowledge graph embeddings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google