Harnessing the Power of Large Language Model for Uncertainty Aware Graph Processing

要約

グラフ データの処理は最も難しいタスクの 1 つです。
ジオメトリや行列因数分解に基づく従来の手法は、データ関係に関する仮定に依存しているため、大規模で複雑なグラフ データを処理する場合には不適切になります。
一方、深層学習アプローチは、大規模なグラフ データの処理において有望な結果を示していますが、解釈可能な説明を提供するには不十分であることがよくあります。
グラフ処理に高精度と説明可能性の両方を装備するために、生成された回答の信頼スコアを提供する不確実性認識モジュールによって強化された大規模言語モデル (LLM) の力を利用する新しいアプローチを導入します。
少数ショット知識グラフの完成とグラフの分類という 2 つのグラフ処理タスクに対するアプローチを実験します。
私たちの結果は、パラメーターの効率的な微調整により、LLM が 10 個の多様なベンチマーク データセットにわたって最先端のアルゴリズムを大幅に上回っていることを示しています。
さらに、説明可能性の課題に対処するために、生成された回答の信頼スコアを定量化するための校正スキームとともに、摂動に基づく不確実性推定を提案します。
私たちの信頼度の尺度は、LLM によって生成された答えの正しさを予測する際に、10 個のデータセットのうち 7 個で AUC 0.8 以上を達成しました。

要約(オリジナル)

Handling graph data is one of the most difficult tasks. Traditional techniques, such as those based on geometry and matrix factorization, rely on assumptions about the data relations that become inadequate when handling large and complex graph data. On the other hand, deep learning approaches demonstrate promising results in handling large graph data, but they often fall short of providing interpretable explanations. To equip the graph processing with both high accuracy and explainability, we introduce a novel approach that harnesses the power of a large language model (LLM), enhanced by an uncertainty-aware module to provide a confidence score on the generated answer. We experiment with our approach on two graph processing tasks: few-shot knowledge graph completion and graph classification. Our results demonstrate that through parameter efficient fine-tuning, the LLM surpasses state-of-the-art algorithms by a substantial margin across ten diverse benchmark datasets. Moreover, to address the challenge of explainability, we propose an uncertainty estimation based on perturbation, along with a calibration scheme to quantify the confidence scores of the generated answers. Our confidence measure achieves an AUC of 0.8 or higher on seven out of the ten datasets in predicting the correctness of the answer generated by LLM.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google