Connecting the Dots: What Graph-Based Text Representations Work Best for Text Classification Using Graph Neural Networks?

要約

構造認識型機械学習におけるグラフ ニューラル ネットワーク (GNN) の成功を考慮して、テキスト分類への使用が多くの研究で検討されていますが、そのほとんどはデータ特性が限られた特定の領域に限られています。
さらに、GNN 以前の一部の戦略はグラフ マイニングと古典的な機械学習に依存していたため、現代の環境でその有効性を評価することが困難でした。
この研究では、テキスト分類のためのグラフ表現方法を広範囲に調査し、実際的な意味と未解決の課題を特定しています。
さまざまな GNN アーキテクチャとセットアップを使用したさまざまなグラフ構築スキームを 5 つのデータセットにわたって比較し、短いドキュメントと長いドキュメント、およびさまざまなドメインの不均衡なシナリオを網羅します。
研究を補完するために、2 つの Transformer ベースの大規模言語モデルも含まれています。
結果は、i) グラフの有効性はテキスト入力の特徴と領域に依存しますが、単純なグラフ構築はドキュメントが長いほどパフォーマンスが向上すること、ii) グラフ表現は特に長いドキュメントに有益であり、Transformer ベースのモデルよりも優れていること、iii) を示しています。
グラフ メソッドは、タスクを解決するのに特に効率的です。

要約(オリジナル)

Given the success of Graph Neural Networks (GNNs) for structure-aware machine learning, many studies have explored their use for text classification, but mostly in specific domains with limited data characteristics. Moreover, some strategies prior to GNNs relied on graph mining and classical machine learning, making it difficult to assess their effectiveness in modern settings. This work extensively investigates graph representation methods for text classification, identifying practical implications and open challenges. We compare different graph construction schemes using a variety of GNN architectures and setups across five datasets, encompassing short and long documents as well as unbalanced scenarios in diverse domains. Two Transformer-based large language models are also included to complement the study. The results show that i) although the effectiveness of graphs depends on the textual input features and domain, simple graph constructions perform better the longer the documents are, ii) graph representations are especially beneficial for longer documents, outperforming Transformer-based models, iii) graph methods are particularly efficient at solving the task.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google