HyperBERT: Mixing Hypergraph-Aware Layers with Language Models for Node Classification on Text-Attributed Hypergraphs

要約

ハイパーグラフは複雑なトポロジーによって特徴づけられ、ハイパーエッジを使用して複数のエンティティ間の高次の相互作用を表現します。
最近、テキスト属性のハイパーグラフ上のノード分類の問題に対して有益なデータ表現を学習するハイパーグラフベースの深層学習手法が研究の注目を集めています。
しかし、既存の方法では、ハイパーグラフの構造情報の全範囲とノード属性に固有の豊富な言語属性を同時に取得するのが難しく、その有効性と一般化性が大きく妨げられています。
これらの課題を克服するために、ノード分類のタスクに特化したハイパーグラフ対応レイヤーを使用して、事前トレーニング済み BERT モデルをさらに強化する方法を検討します。
このような層は、言語モデルに高次の構造的帰納的バイアスを導入し、ハイパーグラフ構造からの高次のコンテキスト情報とテキストに存在する意味情報の両方を利用するモデルの能力を向上させます。
この論文では、事前学習済み BERT の高品質なテキスト エンコーディング機能を維持しながら、同時にハイパーグラフ リレーショナル構造をモデル化する、テキストとハイパーグラフの混合モデルである新しいアーキテクチャ HyperBERT を提案します。
特に、HyperBERT は、5 つの困難なテキスト属性のハイパーグラフ ノード分類ベンチマークにおいて、新たな最先端を達成する結果を示しています。

要約(オリジナル)

Hypergraphs are marked by complex topology, expressing higher-order interactions among multiple entities with hyperedges. Lately, hypergraph-based deep learning methods to learn informative data representations for the problem of node classification on text-attributed hypergraphs have garnered increasing research attention. However, existing methods struggle to simultaneously capture the full extent of hypergraph structural information and the rich linguistic attributes inherent in the nodes attributes, which largely hampers their effectiveness and generalizability. To overcome these challenges, we explore ways to further augment a pretrained BERT model with specialized hypergraph-aware layers for the task of node classification. Such layers introduce higher-order structural inductive bias into the language model, thus improving the model’s capacity to harness both higher-order context information from the hypergraph structure and semantic information present in text. In this paper, we propose a new architecture, HyperBERT, a mixed text-hypergraph model which simultaneously models hypergraph relational structure while maintaining the high-quality text encoding capabilities of a pre-trained BERT. Notably, HyperBERT presents results that achieve a new state-of-the-art on five challenging text-attributed hypergraph node classification benchmarks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google