Effectiveness of Counter-Speech against Abusive Content: A Multidimensional Annotation and Classification Study

投稿日: 2025年6月16日 作成者: jarxiv

要約

カウンタースピーチ（CS）は、オンラインヘイトスピーチ（HS）を緩和するための重要な戦略ですが、その有効性を評価するための基準を定義することは未解決の課題です。
社会科学の概念に基づいたCS有効性分類のための新しい計算フレームワークを提案します。
私たちのフレームワークでは、2つのベンチマークデータセットから4,214 CSインスタンスに注釈を付け、コミュニティにリリースされた新しい言語リソースをもたらすために使用するために使用するために使用するために使用するために使用するために使用するために使用する6つのコアディメンションの6つのコアディメンションを定義します。
さらに、マルチタスクと依存関係ベースの2つの分類戦略を提案し、強力な結果（それぞれ専門家およびユーザー作成の両方のCSで平均F1が0.94と0.96のF1）、標準ベースラインを上回り、次元間の強い相互依存性を明らかにします。

要約(オリジナル)

Counter-speech (CS) is a key strategy for mitigating online Hate Speech (HS), yet defining the criteria to assess its effectiveness remains an open challenge. We propose a novel computational framework for CS effectiveness classification, grounded in social science concepts. Our framework defines six core dimensions – Clarity, Evidence, Emotional Appeal, Rebuttal, Audience Adaptation, and Fairness – which we use to annotate 4,214 CS instances from two benchmark datasets, resulting in a novel linguistic resource released to the community. In addition, we propose two classification strategies, multi-task and dependency-based, achieving strong results (0.94 and 0.96 average F1 respectively on both expert- and user-written CS), outperforming standard baselines, and revealing strong interdependence among dimensions.

arxiv情報

著者 Greta Damo,Elena Cabrio,Serena Villata
発行日 2025-06-13 16:11:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

T1: Advancing Language Model Reasoning through Reinforcement Learning and Inference Scaling

投稿日: 2025年6月16日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、複雑な推論タスクにおいて顕著な能力を示しています。
ただし、既存のアプローチは主に模倣学習に依存し、効果的なテスト時間スケーリングを達成するために苦労しています。
強化学習（RL）は、自己普及を可能にすることの可能性を保持していますが、最近の試みは複雑な推論にわずかな改善をもたらします。
この論文では、探索を奨励し、推論スケーリングを理解することにより、RLをスケーリングするためにT1を提示します。
最初に、試行錯誤と自己検証を統合する合成されたチェーンデータデータを使用してLLMを初期化します。
RLトレーニングを拡大するために、オーバーサンプリングを通じてサンプリングの多様性の増加を促進します。
私たちは、そのベースとしてのオープンLLMを備えたT1が推論のスケーリング動作を示し、挑戦的な数学の推論ベンチマークで優れたパフォーマンスを達成することを実証します。
さらに重要なことは、推論スケーリングを調べるための簡単な戦略を提示します。これにより、推論予算が増加すると、追加の検証なしでT1のパフォーマンスが向上します。

要約(オリジナル)

Large language models (LLMs) have demonstrated remarkable capabilities in complex reasoning tasks. However, existing approaches mainly rely on imitation learning and struggle to achieve effective test-time scaling. While reinforcement learning (RL) holds promise for enabling self-exploration, recent attempts yield modest improvements in complex reasoning. In this paper, we present T1 to scale RL by encouraging exploration and understand inference scaling. We first initialize the LLM using synthesized chain-of-thought data that integrates trial-and-error and self-verification. To scale RL training, we promote increased sampling diversity through oversampling. We demonstrate that T1 with open LLMs as its base exhibits inference scaling behavior and achieves superior performance on challenging math reasoning benchmarks. More importantly, we present a simple strategy to examine inference scaling, where increased inference budgets directly lead to T1’s better performance without any additional verification.

arxiv情報

著者 Zhenyu Hou,Xin Lv,Rui Lu,Jiajie Zhang,Yujiang Li,Zijun Yao,Juanzi Li,Jie Tang,Yuxiao Dong
発行日 2025-06-13 16:15:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | コメントする

Feedback Friction: LLMs Struggle to Fully Incorporate External Feedback

投稿日: 2025年6月16日 作成者: jarxiv

要約

最近の研究では、LLMが外部フィードバックを与えられたときに応答を改善する能力があることが示されています。
ただし、これらのモデルがどの程度効果的かつ徹底的に、外因性フィードバックを組み込むことができるかは不明のままです。
理想的なシナリオでは、LLMSがほぼ完璧で完全なフィードバックを受け取った場合、フィードバックを完全に統合し、正しい回答を修正して正しい回答を変更することが期待されます。
この論文では、制御された実験環境を設計することにより、フィードバックを組み込むLLMSの能力を体系的に調査します。
各問題について、ソルバーモデルがソリューションを試み、次に、ほぼ完全に完全なグラウンドトゥルース回答にアクセスできるフィードバックジェネレーターがターゲットを絞ったフィードバックを生成し、その後ソルバーが再び試みます。
このパイプラインは、数学の推論、知識の推論、科学的推論、Claude 3.7を含む最先端の言語モデルを使用した一般的なマルチドメイン評価など、さまざまなタスクにわたって評価します（拡張思考の有無にかかわらず）。
驚くべきことに、これらのほぼ理想的な条件下でさえ、ソルバーモデルは常にフィードバックに対する抵抗を示しています。これは、フィードバック摩擦と呼ばれる制限です。
この制限を軽減するために、進行性温度の上昇や以前に試みられた誤った回答の明示的な拒否などのサンプリングベースの戦略を実験します。
また、フィードバック摩擦の潜在的な原因を厳密に探求し、モデルの過度の自信やデータの親しみやすさなどの要因を除外します。
LLMSでこの問題を強調し、いくつかの明らかな原因を除外することが、自己改善の将来の研究に役立つことを願っています。

要約(オリジナル)

Recent studies have shown LLMs possess some ability to improve their responses when given external feedback. However, it remains unclear how effectively and thoroughly these models can incorporate extrinsic feedback. In an ideal scenario, if LLMs receive near-perfect and complete feedback, we would expect them to fully integrate the feedback and change their incorrect answers to correct ones. In this paper, we systematically investigate LLMs’ ability to incorporate feedback by designing a controlled experimental environment. For each problem, a solver model attempts a solution, then a feedback generator with access to near-complete ground-truth answers produces targeted feedback, after which the solver tries again. We evaluate this pipeline across a diverse range of tasks, including math reasoning, knowledge reasoning, scientific reasoning, and general multi-domain evaluations with state-of-the-art language models including Claude 3.7 (with and without extended thinking). Surprisingly, even under these near-ideal conditions, solver models consistently show resistance to feedback, a limitation that we term FEEDBACK FRICTION. To mitigate this limitation, we experiment with sampling-based strategies like progressive temperature increases and explicit rejection of previously attempted incorrect answers, which yield improvements but still fail to help models achieve target performance. We also perform a rigorous exploration of potential causes of FEEDBACK FRICTION, ruling out factors such as model overconfidence and data familiarity. We hope that highlighting this issue in LLMs and ruling out several apparent causes will help future research in self-improvement.

arxiv情報

著者 Dongwei Jiang,Alvin Zhang,Andrew Wang,Nicholas Andrews,Daniel Khashabi
発行日 2025-06-13 16:31:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | コメントする

Factual Knowledge in Language Models: Robustness and Anomalies under Simple Temporal Context Variations

投稿日: 2025年6月16日 作成者: jarxiv

要約

このペーパーでは、実際の知識の中で、時間的文脈の変動に対する言語モデル（LMS）の堅牢性を探ります。
LMSが、正しいコンテキストと正しいと区別するように依頼することにより、定義された期間にわたって有効な過去の事実と一時的なコンテキストを正しく関連付けることができるかどうかを調べます。
LMSの区別能力は、2つの次元に沿って分析されます。誤ったコンテキストの有効期間からの距離と、コンテキストの粒度です。
この目的のために、TimeStressと呼ばれるデータセットが導入され、18の多様なLMSの評価が可能になります。
結果は、最高のLMは、研究された事実の11％だけで完全な区別を達成し、エラーがあり、確かにまれですが、人間が作らないことが重要であることが明らかになりました。
この作業は、時間表現における現在のLMSの制限を強調しています。

要約(オリジナル)

This paper explores the robustness of language models (LMs) to variations in the temporal context within factual knowledge. It examines whether LMs can correctly associate a temporal context with a past fact valid over a defined period, by asking them to differentiate correct from incorrect contexts. The LMs’ ability to distinguish is analyzed along two dimensions: the distance of the incorrect context from the validity period and the granularity of the context. To this end, a dataset called TimeStress is introduced, enabling the evaluation of 18 diverse LMs. Results reveal that the best LM achieves a perfect distinction for only 11% of the studied facts, with errors, certainly rare, but critical that humans would not make. This work highlights the limitations of current LMs in temporal representation.

arxiv情報

著者 Hichem Ammar Khodja,Frédéric Béchet,Quentin Brabant,Alexis Nasr,Gwénolé Lecorvé
発行日 2025-06-13 16:58:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | コメントする

e3: Learning to Explore Enables Extrapolation of Test-Time Compute for LLMs

投稿日: 2025年6月16日 作成者: jarxiv

要約

テスト時間スケーリングは、推論時により多くの計算を利用することにより、LLMの推論を改善するための有望なパスを提供します。
ただし、このパラダイムの真の約束は、外挿にあります（つまり、LLMが訓練された最大トークン予算を超えて、LLMがより長く「考え続ける」ため、困難な問題のパフォーマンスの改善）。
驚くべきことに、ほとんどの既存の推論モデルは十分に外挿していないことがわかります。
外挿を有効にする1つの方法は、LLMをトレーニングしてコンテキスト内探索を実行することであることを示します。LLMをトレーニングして、操作（生成、検証、洗練など）をチェーンすることでテスト時間を効果的に費やすか、回答にコミットする前に複数の仮説をテストすることです。
コンテキスト内探索を有効にするために、レシピE3の一部として3つの重要な成分を特定します。（1）ベースLLMが非対称の能力を持っている、たとえば、生成（ハード）とのチェーン検証（ハード）を、コンテキスト内検索を実装する方法として、チェーンスキルを識別します。
（2）RL中の探査を増幅するために誤ったトレースから「負」の勾配を活用し、追加の非対称性を連鎖させるより長い検索トレースをもたらします。
（3）具体的に設計されたカリキュラムを介したトレーニング中のトークン予算のトレーニングの難しさを結合して、コンテキスト内探査を構築します。
私たちのレシピE3は、AIME’25およびHMMT’25スコアに従って最もよく知られている1.7Bモデルを生成し、トレーニングトークン予算を2倍に挿入します。
E3-1.7Bモデルは、ハイパス@1スコアを達成するだけでなく、ベースモデルでパス@Kを改善します。

要約(オリジナル)

Test-time scaling offers a promising path to improve LLM reasoning by utilizing more compute at inference time; however, the true promise of this paradigm lies in extrapolation (i.e., improvement in performance on hard problems as LLMs keep ‘thinking’ for longer, beyond the maximum token budget they were trained on). Surprisingly, we find that most existing reasoning models do not extrapolate well. We show that one way to enable extrapolation is by training the LLM to perform in-context exploration: training the LLM to effectively spend its test time budget by chaining operations (such as generation, verification, refinement, etc.), or testing multiple hypotheses before it commits to an answer. To enable in-context exploration, we identify three key ingredients as part of our recipe e3: (1) chaining skills that the base LLM has asymmetric competence in, e.g., chaining verification (easy) with generation (hard), as a way to implement in-context search; (2) leveraging ‘negative’ gradients from incorrect traces to amplify exploration during RL, resulting in longer search traces that chains additional asymmetries; and (3) coupling task difficulty with training token budget during training via a specifically-designed curriculum to structure in-context exploration. Our recipe e3 produces the best known 1.7B model according to AIME’25 and HMMT’25 scores, and extrapolates to 2x the training token budget. Our e3-1.7B model not only attains high pass@1 scores, but also improves pass@k over the base model.

arxiv情報

著者 Amrith Setlur,Matthew Y. R. Yang,Charlie Snell,Jeremy Greer,Ian Wu,Virginia Smith,Max Simchowitz,Aviral Kumar
発行日 2025-06-13 17:44:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | コメントする

Generative Representational Learning of Foundation Models for Recommendation

投稿日: 2025年6月16日 作成者: jarxiv

要約

多様なタスクを越えて優れた能力を備えた単一の基礎モデルを開発することは、人工知能の分野で長年の目標となっています。
汎用の基礎モデルの波がさまざまなドメインを掃除すると、その影響は推奨システムの分野に大きく拡大しました。
最近の努力により、さまざまな生成タスクの推奨ファンデーションモデルが調査されていますが、多くの場合、タスクを埋め込む重要な埋め込みを見落とし、知識の共有と紛争解決、収束速度の矛盾など、マルチタスク学習の複雑さと闘っています。
これらの制限に対処するために、推奨基盤モデルのための生成的表現学習フレームワークであるRecFoundを紹介します。
多様なシナリオ全体に生成タスクと埋め込みタスクの両方をカバーする推奨ファンデーションモデルのための最初の包括的なデータセットを構築します。
このデータセットに基づいて、知識の共有と競合を処理するための低ランクの専門家（TMOLE）のタスクごとの混合物、段階的な収束指向のサンプルスケジューラ（S2Sched）を備えた新しいマルチタスクトレーニングスキームを提案し、一貫性のない収束に対処し、モデルがモジュールをマージしてパフォーマンスをバランスさせます。
実験では、開封がさまざまな推奨タスクにわたって最先端のパフォーマンスを達成し、既存のベースラインを上回ることが示されています。

要約(オリジナル)

Developing a single foundation model with the capability to excel across diverse tasks has been a long-standing objective in the field of artificial intelligence. As the wave of general-purpose foundation models sweeps across various domains, their influence has significantly extended to the field of recommendation systems. While recent efforts have explored recommendation foundation models for various generative tasks, they often overlook crucial embedding tasks and struggle with the complexities of multi-task learning, including knowledge sharing & conflict resolution, and convergence speed inconsistencies. To address these limitations, we introduce RecFound, a generative representational learning framework for recommendation foundation models. We construct the first comprehensive dataset for recommendation foundation models covering both generative and embedding tasks across diverse scenarios. Based on this dataset, we propose a novel multi-task training scheme featuring a Task-wise Mixture of Low-rank Experts (TMoLE) to handle knowledge sharing & conflict, a Step-wise Convergence-oriented Sample Scheduler (S2Sched) to address inconsistent convergence, and a Model Merge module to balance the performance across tasks. Experiments demonstrate that RecFound achieves state-of-the-art performance across various recommendation tasks, outperforming existing baselines.

arxiv情報

著者 Zheli Zhou,Chenxu Zhu,Jianghao Lin,Bo Chen,Ruiming Tang,Weinan Zhang,Yong Yu
発行日 2025-06-13 17:54:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IR | コメントする

Revealing Political Bias in LLMs through Structured Multi-Agent Debate

投稿日: 2025年6月16日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、社会的行動をシミュレートするためにますます使用されていますが、議論における政治的バイアスと相互作用のダイナミクスは依存していないままです。
LLMタイプとエージェントのジェンダー属性は、政治的に敏感なトピックに関する議論で中立、共和党、民主党のアメリカのLLMエージェントを引き付けることにより、構造化されたマルチエージェント討論フレームワークを使用して政治的バイアスにどのように影響するかを調査します。
基礎となるLLM、エージェント性別、議論の形式を体系的に変化させて、モデルの起源とエージェントペルソナが議論を通じて政治的バイアスと態度にどのように影響するかを調べます。
共和党員が中立に近づく一方で、中立エージェントは一貫して民主党と一致していることがわかります。
ジェンダーは、エージェントが他のエージェントの性別を認識したときに意見を適応させるエージェントの態度に影響を与えます。
そして、以前の研究に反して、共有された政治的提携を持つエージェントはエコーチャンバーを形成することができ、議論が進行するにつれて態度の予想される強化を示します。

要約(オリジナル)

Large language models (LLMs) are increasingly used to simulate social behaviour, yet their political biases and interaction dynamics in debates remain underexplored. We investigate how LLM type and agent gender attributes influence political bias using a structured multi-agent debate framework, by engaging Neutral, Republican, and Democrat American LLM agents in debates on politically sensitive topics. We systematically vary the underlying LLMs, agent genders, and debate formats to examine how model provenance and agent personas influence political bias and attitudes throughout debates. We find that Neutral agents consistently align with Democrats, while Republicans shift closer to the Neutral; gender influences agent attitudes, with agents adapting their opinions when aware of other agents’ genders; and contrary to prior research, agents with shared political affiliations can form echo chambers, exhibiting the expected intensification of attitudes as debates progress.

arxiv情報

著者 Aishwarya Bandaru,Fabian Bindley,Trevor Bluth,Nandini Chavda,Baixu Chen,Ethan Law
発行日 2025-06-13 14:30:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.SI | コメントする

Bel Esprit: Multi-Agent Framework for Building AI Model Pipelines

投稿日: 2025年6月16日 作成者: jarxiv

要約

人工知能の需要（AI）が複雑な現実世界のタスクに対処するために成長するにつれて、単一のモデルは不十分であり、複数のモデルをパイプラインに統合する必要があります。
このペーパーでは、ユーザー定義の要件に基づいてAIモデルパイプラインを構築するために設計された会話エージェントであるBEL Espritを紹介します。
BEL ESPRITは、サブエージェントが協力して要件を明確にし、適切なモデルにパイプラインを構築、検証、および設定するマルチエージェントフレームワークを採用しています。
このフレームワークの有効性を、曖昧なユーザークエリからパイプラインを生成し、人間がキュリットされたデータと合成データの両方を使用して実証します。
詳細なエラー分析は、パイプライン構築における継続的な課題を強調しています。
Bel Espritは、https://belesprit.aixplain.comで無料トライアルで利用できます。

要約(オリジナル)

As the demand for artificial intelligence (AI) grows to address complex real-world tasks, single models are often insufficient, requiring the integration of multiple models into pipelines. This paper introduces Bel Esprit, a conversational agent designed to construct AI model pipelines based on user-defined requirements. Bel Esprit employs a multi-agent framework where subagents collaborate to clarify requirements, build, validate, and populate pipelines with appropriate models. We demonstrate the effectiveness of this framework in generating pipelines from ambiguous user queries, using both human-curated and synthetic data. A detailed error analysis highlights ongoing challenges in pipeline construction. Bel Esprit is available for a free trial at https://belesprit.aixplain.com.

arxiv情報

著者 Yunsu Kim,AhmedElmogtaba Abdelaziz,Thiago Castro Ferreira,Mohamed Al-Badrashiny,Hassan Sawaf
発行日 2025-06-13 14:30:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC, cs.MA | コメントする

V-Max: A Reinforcement Learning Framework for Autonomous Driving

投稿日: 2025年6月16日 作成者: jarxiv

要約

学習ベースの意思決定には、一般化可能な自律運転（AD）ポリシーを可能にする可能性があり、ルールベースのアプローチのエンジニアリングオーバーヘッドを削減します。
模倣学習（IL）は依然として支配的なパラダイムであり、大規模な人間のデモデータセットの恩恵を受けますが、分布シフトや模倣ギャップなどの固有の制限に苦しんでいます。
強化学習（RL）は有望な代替案を提示しますが、標準化された効率的な研究フレームワークがないため、ADでの採用は依然として限られたままです。
この目的のために、ADのRLを実用的にするために必要なすべてのツールを提供するオープンな研究フレームワークであるV-Maxを紹介します。
V-Maxは、大規模な実験用に設計されたハードウェアアクセラレーションの広告シミュレーターであるWayMax上に構築されています。
シナリオネットのアプローチを使用して拡張し、多様な広告データセットの高速シミュレーションを可能にします。

要約(オリジナル)

Learning-based decision-making has the potential to enable generalizable Autonomous Driving (AD) policies, reducing the engineering overhead of rule-based approaches. Imitation Learning (IL) remains the dominant paradigm, benefiting from large-scale human demonstration datasets, but it suffers from inherent limitations such as distribution shift and imitation gaps. Reinforcement Learning (RL) presents a promising alternative, yet its adoption in AD remains limited due to the lack of standardized and efficient research frameworks. To this end, we introduce V-Max, an open research framework providing all the necessary tools to make RL practical for AD. V-Max is built on Waymax, a hardware-accelerated AD simulator designed for large-scale experimentation. We extend it using ScenarioNet’s approach, enabling the fast simulation of diverse AD datasets.

arxiv情報

著者 Valentin Charraut,Thomas Tournaire,Waël Doulazmi,Thibault Buhet
発行日 2025-06-13 14:38:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | コメントする

TrustGLM: Evaluating the Robustness of GraphLLMs Against Prompt, Text, and Structure Attacks

投稿日: 2025年6月16日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の成功に触発されて、従来のグラフ学習方法からLLMベースのグラフフレームワーク（正式にはgraphllmsとして知られている）が重要な研究シフトがあります。
GraphLLMSは、3つの主要なコンポーネントを統合することにより、LLMSの推論力を活用します。入力ノードのテキスト属性、ノード近傍の構造情報、および意思決定をガイドするタスク固有のプロンプト。
彼らの約束にもかかわらず、敵対的な摂動に対するgraphllmsの堅牢性は、ほとんど未開拓のままです – これらのモデルをハイステークスシナリオに展開するための重要な懸念。
ギャップを埋めるために、TrustGlmを紹介します。これは、テキスト、グラフ構造、迅速な操作という3つの次元にわたる敵対的な攻撃に対するgraphllmsの脆弱性を評価する包括的な研究です。
モデルの回復力を厳密に評価するために、各観点から最先端の攻撃アルゴリズムを実装します。
多様なドメインからの6つのベンチマークデータセットでの広範な実験を通じて、我々の調査結果は、graphllmsがノードのテキスト属性に数本の意味的に類似した単語を置き換えるだけで、テキスト攻撃を非常に受けやすいことを明らかにしています。
また、標準のグラフ構造攻撃方法はモデルのパフォーマンスを大幅に低下させる可能性があることがわかりますが、プロンプトテンプレートに設定された候補ラベルのランダムシャッフルは、大幅なパフォーマンスドロップにつながります。
これらの脆弱性を特徴付けるだけでなく、データを介したトレーニングと敵対的なトレーニングを通じて、各攻撃ベクトルに合わせて調整された防御技術を調査します。
当社のオープンソースのライブラリが、迅速で公平な評価を促進し、この分野でのさらなる革新的な研究を刺激することを願っています。

要約(オリジナル)

Inspired by the success of large language models (LLMs), there is a significant research shift from traditional graph learning methods to LLM-based graph frameworks, formally known as GraphLLMs. GraphLLMs leverage the reasoning power of LLMs by integrating three key components: the textual attributes of input nodes, the structural information of node neighborhoods, and task-specific prompts that guide decision-making. Despite their promise, the robustness of GraphLLMs against adversarial perturbations remains largely unexplored-a critical concern for deploying these models in high-stakes scenarios. To bridge the gap, we introduce TrustGLM, a comprehensive study evaluating the vulnerability of GraphLLMs to adversarial attacks across three dimensions: text, graph structure, and prompt manipulations. We implement state-of-the-art attack algorithms from each perspective to rigorously assess model resilience. Through extensive experiments on six benchmark datasets from diverse domains, our findings reveal that GraphLLMs are highly susceptible to text attacks that merely replace a few semantically similar words in a node’s textual attribute. We also find that standard graph structure attack methods can significantly degrade model performance, while random shuffling of the candidate label set in prompt templates leads to substantial performance drops. Beyond characterizing these vulnerabilities, we investigate defense techniques tailored to each attack vector through data-augmented training and adversarial training, which show promising potential to enhance the robustness of GraphLLMs. We hope that our open-sourced library will facilitate rapid, equitable evaluation and inspire further innovative research in this field.

arxiv情報

著者 Qihai Zhang,Xinyue Sheng,Yuanfu Sun,Qiaoyu Tan
発行日 2025-06-13 14:48:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | コメントする