Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation

投稿日: 2024年10月10日 作成者: jarxiv

要約

大規模な言語モデルの急速な開発により、外部知識を統合して知識のボトルネックを軽減し、幻覚を軽減する検索拡張生成 (RAG) が広く採用されるようになりました。
しかし、既存の RAG パラダイムは、検索フレーズ中に導入された欠陥情報の影響を受けることは避けられず、それによって生成された結果の信頼性と正確性が低下します。
このペーパーでは、RAG 内の欠陥情報の影響を軽減するために設計された、普遍的に適用可能なフレームワークである CAG (Credibility-aware Generation) を提案します。
CAG の核心は、情報の信頼性に基づいて情報を識別し、処理する能力をモデルに装備することです。
この目的を達成するために、信頼性に基づいてデータを生成し、それによってモデルに CAG の機能を効果的に与える革新的なデータ変換フレームワークを提案します。
さらに、CAG のモデルの機能を正確に評価するために、3 つの重要な現実世界のシナリオをカバーする包括的なベンチマークを構築しました。
実験結果は、私たちのモデルが生成の信頼性を効果的に理解して利用できること、検索拡張で他のモデルを大幅に上回っていること、ノイズの多い文書によって引き起こされる中断に対する回復力を示し、それによって堅牢なパフォーマンスを維持できることを示しています。
さらに、当社のモデルはカスタマイズされた信頼性をサポートし、幅広い潜在的なアプリケーションを提供します。

要約(オリジナル)

The rapid development of large language models has led to the widespread adoption of Retrieval-Augmented Generation (RAG), which integrates external knowledge to alleviate knowledge bottlenecks and mitigate hallucinations. However, the existing RAG paradigm inevitably suffers from the impact of flawed information introduced during the retrieval phrase, thereby diminishing the reliability and correctness of the generated outcomes. In this paper, we propose Credibility-aware Generation (CAG), a universally applicable framework designed to mitigate the impact of flawed information in RAG. At its core, CAG aims to equip models with the ability to discern and process information based on its credibility. To this end, we propose an innovative data transformation framework that generates data based on credibility, thereby effectively endowing models with the capability of CAG. Furthermore, to accurately evaluate the models’ capabilities of CAG, we construct a comprehensive benchmark covering three critical real-world scenarios. Experimental results demonstrate that our model can effectively understand and utilize credibility for generation, significantly outperform other models with retrieval augmentation, and exhibit resilience against the disruption caused by noisy documents, thereby maintaining robust performance. Moreover, our model supports customized credibility, offering a wide range of potential applications.

arxiv情報

著者 Ruotong Pan,Boxi Cao,Hongyu Lin,Xianpei Han,Jia Zheng,Sirui Wang,Xunliang Cai,Le Sun
発行日 2024-10-09 17:16:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

Stanceformer: Target-Aware Transformer for Stance Detection

投稿日: 2024年10月10日 作成者: jarxiv

要約

スタンス検出のタスクには、特定の主題またはターゲットに対するテキスト内で表現されたスタンスを識別することが含まれます。
これまでの研究は、ターゲットに効果的に優先順位を付ける機能が欠けている既存の変圧器モデルに依存していました。
その結果、これらのモデルは、ターゲット情報を利用するか無視するかに関係なく、同様のパフォーマンスをもたらし、タスクの重要性を損ないます。
この課題に対処するために、トレーニングと推論の両方でターゲットに対する注意を強化するターゲット認識トランスフォーマー モデルである Stanceformer を導入します。
具体的には、ターゲットに割り当てられた自己注意スコアを高める \textit{ターゲット認識} マトリックスを設計します。
私たちは、最先端のモデルや大規模言語モデル (LLM) を含むさまざまな BERT ベースのモデルを使用して Stanceformer の有効性を実証し、ゼロショット データセットと並行して 3 つのスタンス検出データセットにわたるパフォーマンスを評価します。
私たちのアプローチ Stanceformer は、優れたパフォーマンスを提供するだけでなく、アスペクトベースの感情分析などの他のドメインにも一般化します。
コードは公開されています。\footnote{\scriptsize\url{https://github.com/kgarg8/Stanceformer}}

要約(オリジナル)

The task of Stance Detection involves discerning the stance expressed in a text towards a specific subject or target. Prior works have relied on existing transformer models that lack the capability to prioritize targets effectively. Consequently, these models yield similar performance regardless of whether we utilize or disregard target information, undermining the task’s significance. To address this challenge, we introduce Stanceformer, a target-aware transformer model that incorporates enhanced attention towards the targets during both training and inference. Specifically, we design a \textit{Target Awareness} matrix that increases the self-attention scores assigned to the targets. We demonstrate the efficacy of the Stanceformer with various BERT-based models, including state-of-the-art models and Large Language Models (LLMs), and evaluate its performance across three stance detection datasets, alongside a zero-shot dataset. Our approach Stanceformer not only provides superior performance but also generalizes even to other domains, such as Aspect-based Sentiment Analysis. We make the code publicly available.\footnote{\scriptsize\url{https://github.com/kgarg8/Stanceformer}}

arxiv情報

著者 Krishna Garg,Cornelia Caragea
発行日 2024-10-09 17:24:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

MLE-bench: Evaluating Machine Learning Agents on Machine Learning Engineering

投稿日: 2024年10月10日 作成者: jarxiv

要約

AI エージェントが機械学習エンジニアリングでどの程度優れたパフォーマンスを発揮するかを測定するためのベンチマークである MLE ベンチを紹介します。
この目的を達成するために、私たちは Kaggle から 75 の ML エンジニアリング関連のコンテストを厳選し、モデルのトレーニング、データセットの準備、実験の実行など、現実世界の ML エンジニアリング スキルをテストするさまざまな挑戦的なタスクのセットを作成します。
私たちは、Kaggle の公開されているリーダーボードを使用して、各コンテストに対する人間のベースラインを確立します。
私たちは、オープンソースのエージェント スキャフォールドを使用して、ベンチマークでいくつかのフロンティア言語モデルを評価しました。その結果、最もパフォーマンスの高いセットアップ (AIDE スキャフォールディングを使用した OpenAI の o1-preview) が、16.9% のコンペティションで少なくとも Kaggle の銅メダルのレベルを達成していることがわかりました。
。
主な結果に加えて、AI エージェントのさまざまな形式のリソース スケーリングと、事前トレーニングによる汚染の影響を調査します。
AI エージェントの ML エンジニアリング機能を理解するための将来の研究を促進するために、ベンチマーク コード (github.com/openai/mle-bench/) をオープンソースにしています。

要約(オリジナル)

We introduce MLE-bench, a benchmark for measuring how well AI agents perform at machine learning engineering. To this end, we curate 75 ML engineering-related competitions from Kaggle, creating a diverse set of challenging tasks that test real-world ML engineering skills such as training models, preparing datasets, and running experiments. We establish human baselines for each competition using Kaggle’s publicly available leaderboards. We use open-source agent scaffolds to evaluate several frontier language models on our benchmark, finding that the best-performing setup–OpenAI’s o1-preview with AIDE scaffolding–achieves at least the level of a Kaggle bronze medal in 16.9% of competitions. In addition to our main results, we investigate various forms of resource scaling for AI agents and the impact of contamination from pre-training. We open-source our benchmark code (github.com/openai/mle-bench/) to facilitate future research in understanding the ML engineering capabilities of AI agents.

arxiv情報

著者 Jun Shern Chan,Neil Chowdhury,Oliver Jaffe,James Aung,Dane Sherburn,Evan Mays,Giulio Starace,Kevin Liu,Leon Maksin,Tejal Patwardhan,Lilian Weng,Aleksander Mądry
発行日 2024-10-09 17:34:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings

投稿日: 2024年10月10日 作成者: jarxiv

要約

単語の埋め込みは自然言語処理において最も重要なコンポーネントの 1 つですが、高次元の埋め込みの解釈は依然として困難な問題です。
この問題に対処するには、独立成分分析 (ICA) が効果的な解決策として認識されています。
ICA で変換された単語の埋め込みにより、解釈可能な意味軸が明らかになります。
ただし、これらの軸の順序は任意です。
本研究ではこの性質に着目し、軸の順序を最適化する新しい手法「Axis Tour」を提案する。
1 次元の単語埋め込み手法である Word Tour からインスピレーションを得て、軸の意味的連続性を最大化することで単語埋め込み空間の明瞭性を向上させることを目指しています。
さらに、下流タスクの実験を通じて、Axis Tour が PCA と ICA の両方と比較して、より優れた、または同等の低次元埋め込みを生成することを示します。

要約(オリジナル)

Word embedding is one of the most important components in natural language processing, but interpreting high-dimensional embeddings remains a challenging problem. To address this problem, Independent Component Analysis (ICA) is identified as an effective solution. ICA-transformed word embeddings reveal interpretable semantic axes; however, the order of these axes are arbitrary. In this study, we focus on this property and propose a novel method, Axis Tour, which optimizes the order of the axes. Inspired by Word Tour, a one-dimensional word embedding method, we aim to improve the clarity of the word embedding space by maximizing the semantic continuity of the axes. Furthermore, we show through experiments on downstream tasks that Axis Tour yields better or comparable low-dimensional embeddings compared to both PCA and ICA.

arxiv情報

著者 Hiroaki Yamagiwa,Yusuke Takase,Hidetoshi Shimodaira
発行日 2024-10-09 17:38:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

Unleashing Multi-Hop Reasoning Potential in Large Language Models through Repetition of Misordered Context

投稿日: 2024年10月10日 作成者: jarxiv

要約

マルチホップ推論は、特定のコンテキスト内のサポート文書に基づいた複数ステップの推論を必要とし、大規模言語モデル (LLM) にとって依然として困難です。
LLM は、コンテキスト内で無関係なドキュメントをフィルタリングするのに苦労することが多く、そのパフォーマンスは、そのコンテキスト内でサポートされるドキュメントの位置に影響されます。
このペーパーでは、追加の課題を特定します。LLM のパフォーマンスは、サポート文書が提示される順序にも影響されます。
これをコンテキストの誤った順序の問題と呼びます。
この問題に対処するために、私たちはコンテキスト反復 (CoRe) と呼ばれるシンプルかつ効果的な方法を提案します。これは、サポートするドキュメントがモデルにとって最適な順序で表示されるようにコンテキストを繰り返し提示することでモデルを促すことを含みます。
CoRe を使用すると、マルチホップ QA タスクで F1 スコアが最大 30%p 向上し、合成タスクで精度が最大 70%p 向上します。
さらに、CoRe は、LLM におけるよく知られた「中間者喪失」問題の軽減に役立ち、思考連鎖 (CoT) 推論を利用した検索ベースのアプローチと効果的に組み合わせることができます。

要約(オリジナル)

Multi-hop reasoning, which requires multi-step reasoning based on the supporting documents within a given context, remains challenging for large language models (LLMs). LLMs often struggle to filter out irrelevant documents within the context, and their performance is sensitive to the position of supporting documents within that context. In this paper, we identify an additional challenge: LLMs’ performance is also sensitive to the order in which the supporting documents are presented. We refer to this as the misordered context problem. To address this issue, we propose a simple yet effective method called context repetition (CoRe), which involves prompting the model by repeatedly presenting the context to ensure the supporting documents are presented in the optimal order for the model. Using CoRe, we improve the F1 score by up to 30%p on multi-hop QA tasks and increase accuracy by up to 70%p on a synthetic task. Additionally, CoRe helps mitigate the well-known ‘lost-in-the-middle’ problem in LLMs and can be effectively combined with retrieval-based approaches utilizing Chain-of-Thought (CoT) reasoning.

arxiv情報

著者 Sangwon Yu,Ik-hwan Kim,Jongyoon Song,Saehyung Lee,Junsung Park,Sungroh Yoon
発行日 2024-10-09 17:41:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

Private prediction for large-scale synthetic text generation

投稿日: 2024年10月10日 作成者: jarxiv

要約

私たちは、大規模言語モデル (LLM) を使用し、プライベート予測を通じて差分プライベート合成テキストを生成するアプローチを紹介します。
プライベート予測フレームワークでは、差分プライバシーの保証を満たすために出力合成データのみが必要です。
これは、機密性の高いユーザー提供のソース データに基づいて生成モデルをトレーニングし、モデル自体が安全にリリースできることを確認するアプローチとは対照的です。
ソース データを使用して事前トレーニングされた LLM をプロンプトしますが、次のトークンの予測が差分プライバシー保証で行われることを保証します。
このパラダイムにおける以前の研究では、妥当なプライバシー レベルで少数のサンプル (<10) が生成されたと報告されており、これは下流のコンテキスト内の学習またはプロンプトにのみ役立つデータ量です。 対照的に、私たちは何千もの高品質な合成データ ポイントを生成できるように変更を加え、潜在的なアプリケーションのセットを大幅に拡大します。 私たちの改善は、プライバシー分析の改善と、LLM のトークンをサンプリングするためのソフトマックス層と指数関数メカニズムの間の等価性を利用する、より優れたプライベート選択メカニズムから来ています。 さらに、スパース ベクトル技術を介した公開予測の新しい使用法を導入します。この手法では、機密データなしで予測可能なトークンに対してプライバシー コストを支払いません。 これは構造化データに特に効果的であることがわかりました。

要約(オリジナル)

We present an approach for generating differentially private synthetic text using large language models (LLMs), via private prediction. In the private prediction framework, we only require the output synthetic data to satisfy differential privacy guarantees. This is in contrast to approaches that train a generative model on potentially sensitive user-supplied source data and seek to ensure the model itself is safe to release. We prompt a pretrained LLM with source data, but ensure that next-token predictions are made with differential privacy guarantees. Previous work in this paradigm reported generating a small number of examples (<10) at reasonable privacy levels, an amount of data that is useful only for downstream in-context learning or prompting. In contrast, we make changes that allow us to generate thousands of high-quality synthetic data points, greatly expanding the set of potential applications. Our improvements come from an improved privacy analysis and a better private selection mechanism, which makes use of the equivalence between the softmax layer for sampling tokens in LLMs and the exponential mechanism. Furthermore, we introduce a novel use of public predictions via the sparse vector technique, in which we do not pay privacy costs for tokens that are predictable without sensitive data; we find this to be particularly effective for structured data.

arxiv情報

著者 Kareem Amin,Alex Bie,Weiwei Kong,Alexey Kurakin,Natalia Ponomareva,Umar Syed,Andreas Terzis,Sergei Vassilvitskii
発行日 2024-10-09 17:45:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CR, cs.LG | コメントする

Exploring the Readiness of Prominent Small Language Models for the Democratization of Financial Literacy

投稿日: 2024年10月10日 作成者: jarxiv

要約

ここでは 30 億未満のパラメータを持つモデルとして定義される小規模言語モデル (SLM) の使用が、さまざまなドメインおよびアプリケーションにわたって増加しています。
SLM は、よりアクセスしやすいハードウェアで実行し、ユーザーのプライバシーを保護できるため、社会経済的地位やプライバシーの好みが異なる個人の言語モデルへのアクセスを民主化する可能性があります。
この研究では、金融リテラシー LM の開発をサポートするために、金融ドメインで使用するいくつかの最先端の SLM (Apple の OpenELM、Microsoft の Phi、Google の Gemma、Tinyllama プロジェクトなど) を評価しています。
特に新しい金融市場や商品が出現し、アクセスの容易さにより金融市場への参加が増加する中、金融教育を受けていない人々が質の高い金融情報に民主的にアクセスできるようにすることが社会で非常に必要とされています。
私たちは、個人や学生が財務上の質問に答える機能へのアクセスを民主化するためにオープンソース SLM の使用を検討した最初の企業です。
この目的を達成するために、どのモデルが最もアクセスしやすく、財務情報へのアクセスをサポートできるかを判断するために、メモリ使用量、推論時間、グラウンドトゥルースの答えとの類似性比較、および著名な SLM の出力の可読性の分析を提供します。
モデルのゼロショット学習と少数ショット学習のバリアントを分析します。
この結果は、既製の SLM の中には、個人使用に向けてさらに検討して微調整する価値があるものもあれば、民主化に限界があるものもあることを示唆しています。

要約(オリジナル)

The use of small language models (SLMs), herein defined as models with less than three billion parameters, is increasing across various domains and applications. Due to their ability to run on more accessible hardware and preserve user privacy, SLMs possess the potential to democratize access to language models for individuals of different socioeconomic status and with different privacy preferences. This study assesses several state-of-the-art SLMs (e.g., Apple’s OpenELM, Microsoft’s Phi, Google’s Gemma, and the Tinyllama project) for use in the financial domain to support the development of financial literacy LMs. Democratizing access to quality financial information for those who are financially under educated is greatly needed in society, particularly as new financial markets and products emerge and participation in financial markets increases due to ease of access. We are the first to examine the use of open-source SLMs to democratize access to financial question answering capabilities for individuals and students. To this end, we provide an analysis of the memory usage, inference time, similarity comparisons to ground-truth answers, and output readability of prominent SLMs to determine which models are most accessible and capable of supporting access to financial information. We analyze zero-shot and few-shot learning variants of the models. The results suggest that some off-the-shelf SLMs merit further exploration and fine-tuning to prepare them for individual use, while others may have limits to their democratization.

arxiv情報

著者 Tagore Rao Kosireddy,Jeffrey D. Wall,Evan Lucas
発行日 2024-10-09 17:48:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

Sylber: Syllabic Embedding Representation of Speech from Raw Audio

投稿日: 2024年10月10日 作成者: jarxiv

要約

音節は、人間の音声の知覚と生成において重要な役割を果たす話し言葉の構成単位です。
ただし、現在のニューラル音声表現には構造が欠けており、その結果、処理コストのかかる高密度のトークン シーケンスが生成されます。
このギャップを埋めるために、クリーンで堅牢な音節構造を持つ音声表現を生成する新しいモデル Sylber を提案します。
具体的には、トレーニングにおけるモデルの指数移動平均である教師モデルから抽出された音節セグメントの特徴を回帰する自己教師ありモデルを提案します。
これにより、音声特徴の高度に構造化された表現が実現され、次の 3 つの重要な利点が得られます。1) 高速な線形時間音節セグメンテーション アルゴリズム、2) 1 秒あたり平均 4.27 トークンによる効率的な音節トークン化、3) より適切な音節単位
語彙的および構文的な理解。
また、音節単位を使用してトークンから音声への生成モデルをトレーニングし、完全に理解可能な音声をこれらのトークンから再構築できることを示します。
最後に、音声認識の言語現象であるカテゴリカル知覚がモデル内で自然に現れ、埋め込み空間が以前の自己教師あり学習アプローチよりもカテゴリカルかつスパースになっていることが観察されます。
私たちは一緒に、音声を音節として表現するための新しい自己教師ありアプローチを提案します。これは、効率的な音声トークン化と音声言語モデリングに大きな可能性をもたらします。

要約(オリジナル)

Syllables are compositional units of spoken language that play a crucial role in human speech perception and production. However, current neural speech representations lack structure, resulting in dense token sequences that are costly to process. To bridge this gap, we propose a new model, Sylber, that produces speech representations with clean and robust syllabic structure. Specifically, we propose a self-supervised model that regresses features on syllabic segments distilled from a teacher model which is an exponential moving average of the model in training. This results in a highly structured representation of speech features, offering three key benefits: 1) a fast, linear-time syllable segmentation algorithm, 2) efficient syllabic tokenization with an average of 4.27 tokens per second, and 3) syllabic units better suited for lexical and syntactic understanding. We also train token-to-speech generative models with our syllabic units and show that fully intelligible speech can be reconstructed from these tokens. Lastly, we observe that categorical perception, a linguistic phenomenon of speech perception, emerges naturally in our model, making the embedding space more categorical and sparse than previous self-supervised learning approaches. Together, we present a novel self-supervised approach for representing speech as syllables, with significant potential for efficient speech tokenization and spoken language modeling.

arxiv情報

著者 Cheol Jun Cho,Nicholas Lee,Akshat Gupta,Dhruv Agarwal,Ethan Chen,Alan W Black,Gopala K. Anumanchipalli
発行日 2024-10-09 17:59:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SD, eess.AS | コメントする

A Trilogy of AI Safety Frameworks: Paths from Facts and Knowledge Gaps to Reliable Predictions and New Knowledge

投稿日: 2024年10月10日 作成者: jarxiv

要約

AI の安全性は、AI コミュニティ内外の多くの科学者にとって重要な最前線の関心事となっています。
人間の存在に関する実存的リスクからディープフェイクや機械学習システムのバイアスに至るまで、当面および長期的に予想されるリスクが数多く存在します [1-5]。
このペーパーでは、AI の安全性に関する懸念の全範囲と計り知れない複雑さを、重要な領域における AI のイノベーションを減らすことなく AI の安全性と信頼性を向上させる短期的な可能性を秘めた、重要だが扱いやすい進歩の 3 つの機会からなる 3 部作にまとめます。
この観点から、生物医学における重要な ML アプリケーションですでに概念実証を行っているいくつかのケーススタディに基づいて、このビジョンについて説明します。

要約(オリジナル)

AI Safety has become a vital front-line concern of many scientists within and outside the AI community. There are many immediate and long term anticipated risks that range from existential risk to human existence to deep fakes and bias in machine learning systems [1-5]. In this paper, we reduce the full scope and immense complexity of AI safety concerns to a trilogy of three important but tractable opportunities for advances that have the short-term potential to improve AI safety and reliability without reducing AI innovation in critical domains. In this perspective, we discuss this vision based on several case studies that already produced proofs of concept in critical ML applications in biomedical science.

arxiv情報

著者 Simon Kasif
発行日 2024-10-09 14:43:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | コメントする

Faithful Interpretation for Graph Neural Networks

投稿日: 2024年10月10日 作成者: jarxiv

要約

現在、グラフ アテンション ネットワーク (GAT) やグラフ トランスフォーマー (GT) などのグラフ ニューラル ネットワーク (GNN) におけるアテンション メカニズムがますます注目を集めています。
それは、それらが提供するパフォーマンスの賞賛に値する向上だけでなく、不可解だと思われがちなモデルの動作に対してより明確な理論的根拠を提供する能力によるものでもあります。
ただし、アテンションベースの GNN は、トレーニング段階とテスト段階の両方で、追加のエッジやノードなどの要因を含むさまざまな摂動源にさらされると、解釈可能性が不安定になることが実証されています。
この論文では、Faithful Graph Attendance-based Interpretation (FGAI) と呼ばれる新しい概念を導入することで、この問題の解決策を提案します。
特に、FGAI には、安定性と解釈と最終出力分布に対する感度に関して 4 つの重要な特性があります。
この概念に基づいて、FGAI を取得するための効率的な方法論を提案します。これは、正規のアテンションベースの GNN に対するアドホックな修正とみなすことができます。
提案したソリューションを検証するために、グラフ解釈の評価に合わせて調整された 2 つの新しい指標を導入します。
実験結果は、FGAI が優れた安定性を示し、さまざまな形の摂動やランダム性の下でも注意の解釈可能性を維持することを示しており、これにより FGAI はより忠実で信頼できる説明ツールになります。

要約(オリジナル)

Currently, attention mechanisms have garnered increasing attention in Graph Neural Networks (GNNs), such as Graph Attention Networks (GATs) and Graph Transformers (GTs). It is not only due to the commendable boost in performance they offer but also its capacity to provide a more lucid rationale for model behaviors, which are often viewed as inscrutable. However, Attention-based GNNs have demonstrated instability in interpretability when subjected to various sources of perturbations during both training and testing phases, including factors like additional edges or nodes. In this paper, we propose a solution to this problem by introducing a novel notion called Faithful Graph Attention-based Interpretation (FGAI). In particular, FGAI has four crucial properties regarding stability and sensitivity to interpretation and final output distribution. Built upon this notion, we propose an efficient methodology for obtaining FGAI, which can be viewed as an ad hoc modification to the canonical Attention-based GNNs. To validate our proposed solution, we introduce two novel metrics tailored for graph interpretation assessment. Experimental results demonstrate that FGAI exhibits superior stability and preserves the interpretability of attention under various forms of perturbations and randomness, which makes FGAI a more faithful and reliable explanation tool.

arxiv情報

著者 Lijie Hu,Tianhao Huang,Lu Yu,Wanyu Lin,Tianhang Zheng,Di Wang
発行日 2024-10-09 14:47:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | コメントする