Semantic Wave Functions: Exploring Meaning in Large Language Models Through Quantum Formalism

要約

大規模な言語モデル（LLM）は、高次元ベクトル埋め込みでセマンティック関係をエンコードします。
このホワイトペーパーでは、LLMの埋め込みスペースと量子力学との類推を調査し、LLMが単語やフレーズが量子状態として振る舞う量子化されたセマンティック空間内で動作すると仮定しています。
微妙なセマンティック干渉効果をキャプチャするために、標準の実質値の埋め込みスペースを複雑なドメインに拡張し、ダブルスリットの実験に類似しています。
この量子由来の表現を正式に形式化し、二重ウェルの可能性などの潜在的な景観をモデル化するために、「セマンティック波関数」を導入します。
さらに、マグニチュード情報と位相情報の両方を組み込んだ複雑な値の類似性尺度を提案し、セマンティック表現のより敏感な比較を可能にします。
LLMの動的進化をモデル化するために、ゲージフィールドとメキシコの帽子の可能性を備えた非線形Schr \ ‘Odinger方程式に基づいて、パス積分形式を開発します。
この学際的なアプローチは、人工言語と自然言語の両方の理解を進めることを目標に、LLMを理解し、潜在的に操作するための新しい理論的枠組みを提供します。

要約(オリジナル)

Large Language Models (LLMs) encode semantic relationships in high-dimensional vector embeddings. This paper explores the analogy between LLM embedding spaces and quantum mechanics, positing that LLMs operate within a quantized semantic space where words and phrases behave as quantum states. To capture nuanced semantic interference effects, we extend the standard real-valued embedding space to the complex domain, drawing parallels to the double-slit experiment. We introduce a ‘semantic wave function’ to formalize this quantum-derived representation and utilize potential landscapes, such as the double-well potential, to model semantic ambiguity. Furthermore, we propose a complex-valued similarity measure that incorporates both magnitude and phase information, enabling a more sensitive comparison of semantic representations. We develop a path integral formalism, based on a nonlinear Schr\’odinger equation with a gauge field and Mexican hat potential, to model the dynamic evolution of LLM behavior. This interdisciplinary approach offers a new theoretical framework for understanding and potentially manipulating LLMs, with the goal of advancing both artificial and natural language understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google