Quantum-inspired Embeddings Projection and Similarity Metrics for Representation Learning

要約

過去 10 年間にわたり、大量のデータから抽出された複雑な情報を高密度のベクトル空間に埋め込む表現学習が、機械学習の重要な技術として浮上してきました。
他のアプリケーションの中でも特に、対照学習に基づく大規模な言語モデルや高度なコンピューター ビジョン システムの重要な構成要素となっています。
表現学習システムの中核コンポーネントは射影ヘッドです。射影ヘッドは、ベクトル間の類似関係を維持しながら、元の埋め込みをさまざまな、多くの場合圧縮された空間にマッピングします。
この論文では、対応する量子にヒントを得た類似性メトリックを含む、量子にヒントを得た投影ヘッドを提案します。
具体的には、古典的な埋め込みをヒルベルト空間の量子状態にマッピングし、量子回路ベースの投影ヘッドを導入して埋め込みの次元を削減します。
このアプローチの有効性を評価するために、埋め込み圧縮用のプロジェクション ヘッドを統合することで BERT 言語モデルを拡張しました。
TREC 2019 および TREC 2020 深層学習ベンチマークを使用して、情報検索タスクにおける、量子にインスピレーションを得た射影ヘッドを使用して圧縮されたエンベディングのパフォーマンスと、従来の射影ヘッドを使用して圧縮されたエンベディングのパフォーマンスを比較しました。
結果は、量子にインスピレーションを得た私たちの手法が、32 分の 1 のパラメータを使用しながら、古典的な手法と比べて競争力のあるパフォーマンスを達成していることを示しています。
さらに、最初からトレーニングした場合、特に小規模なデータセットで顕著に優れています。
この研究は、量子にヒントを得たアプローチの有効性を強調するだけでなく、量子にヒントを得た強力な手法として、ニューラル ネットワーク内の効率的なアドホック低もつれ回路シミュレーションの有用性も強調しています。

要約(オリジナル)

Over the last decade, representation learning, which embeds complex information extracted from large amounts of data into dense vector spaces, has emerged as a key technique in machine learning. Among other applications, it has been a key building block for large language models and advanced computer vision systems based on contrastive learning. A core component of representation learning systems is the projection head, which maps the original embeddings into different, often compressed spaces, while preserving the similarity relationship between vectors. In this paper, we propose a quantum-inspired projection head that includes a corresponding quantum-inspired similarity metric. Specifically, we map classical embeddings onto quantum states in Hilbert space and introduce a quantum circuit-based projection head to reduce embedding dimensionality. To evaluate the effectiveness of this approach, we extended the BERT language model by integrating our projection head for embedding compression. We compared the performance of embeddings, which were compressed using our quantum-inspired projection head, with those compressed using a classical projection head on information retrieval tasks using the TREC 2019 and TREC 2020 Deep Learning benchmarks. The results demonstrate that our quantum-inspired method achieves competitive performance relative to the classical method while utilizing 32 times fewer parameters. Furthermore, when trained from scratch, it notably excels, particularly on smaller datasets. This work not only highlights the effectiveness of the quantum-inspired approach but also emphasizes the utility of efficient, ad hoc low-entanglement circuit simulations within neural networks as a powerful quantum-inspired technique.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google