Quantum Graph Transformer for NLP Sentiment Classification

要約

量子機械学習は、特に複雑で構造化されたデータが重要であるドメインで、より効率的で表現力豊かなモデルを構築するための有望な方向です。
量子グラフトランス（QGT）を提示します。これは、構造化された言語モデリングのためのメッセージパスフレームワークに量子自己関節メカニズムを統合するハイブリッドグラフベースのアーキテクチャです。
注意メカニズムは、パラメーター化された量子回路（PQCS）を使用して実装されます。これにより、モデルはリッチなコンテキスト関係をキャプチャでき、古典的な注意メカニズムと比較してトレーニング可能なパラメーターの数を大幅に削減できます。
5つのセンチメント分類ベンチマークでQGTを評価します。
実験結果は、QGTが、注意ベースと非攻撃ベースのアプローチの両方を含む、既存の量子自然言語処理（QNLP）モデルよりも一貫して高度または同等の精度を達成することを示しています。
同等の古典的なグラフトランスと比較すると、QGTは、実世界のデータセットで5.42％、合成データセットで4.76％の平均精度改善が得られます。
さらに、QGTはサンプル効率の改善を実証しており、Yelpデータセットで同等のパフォーマンスに達するために、標識サンプルが50％近く少ないことを示しています。
これらの結果は、効率的でスケーラブルな言語理解を進めるためのグラフベースのQNLP技術の可能性を強調しています。

要約(オリジナル)

Quantum machine learning is a promising direction for building more efficient and expressive models, particularly in domains where understanding complex, structured data is critical. We present the Quantum Graph Transformer (QGT), a hybrid graph-based architecture that integrates a quantum self-attention mechanism into the message-passing framework for structured language modeling. The attention mechanism is implemented using parameterized quantum circuits (PQCs), which enable the model to capture rich contextual relationships while significantly reducing the number of trainable parameters compared to classical attention mechanisms. We evaluate QGT on five sentiment classification benchmarks. Experimental results show that QGT consistently achieves higher or comparable accuracy than existing quantum natural language processing (QNLP) models, including both attention-based and non-attention-based approaches. When compared with an equivalent classical graph transformer, QGT yields an average accuracy improvement of 5.42% on real-world datasets and 4.76% on synthetic datasets. Additionally, QGT demonstrates improved sample efficiency, requiring nearly 50% fewer labeled samples to reach comparable performance on the Yelp dataset. These results highlight the potential of graph-based QNLP techniques for advancing efficient and scalable language understanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google