Corrector Sampling in Language Models

投稿日: 2025年6月9日 作成者: jarxiv

要約

自動網性言語モデルは、固定された、取り返しのつかない左から右へのトークンの生成のためにエラーを蓄積します。
これに対処するために、Resample-Previous-Tokens（RPT）と呼ばれる新しいサンプリング方法を提案します。
RPTは、以前に生成されたテキストのウィンドウでトークンを繰り返し再検討し、潜在的に交換することにより、エラーの蓄積を軽減します。
この方法は、既存の自己回帰モデルに統合され、次のトークン予測の品質と速度を維持できます。
RPTで100BのRPTを使用して前処理された8Bパラメーターモデルを微調整すると、標準サンプリングと比較して、推論とコーディングベンチマークの相対的な改善が約10％増加しました。

要約(オリジナル)

Autoregressive language models accumulate errors due to their fixed, irrevocable left-to-right token generation. To address this, we propose a new sampling method called Resample-Previous-Tokens (RPT). RPT mitigates error accumulation by iteratively revisiting and potentially replacing tokens in a window of previously generated text. This method can be integrated into existing autoregressive models, preserving their next-token-prediction quality and speed. Fine-tuning a pretrained 8B parameter model with RPT for only 100B resulted in ~10% relative improvements on reasoning and coding benchmarks compared to the standard sampling.

arxiv情報

著者 Itai Gat,Neta Shaul,Uriel Singer,Yaron Lipman
発行日 2025-06-06 16:21:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Corrector Sampling in Language Models はコメントを受け付けていません

Banyan: Improved Representation Learning with Explicit Structure

投稿日: 2025年6月9日 作成者: jarxiv

要約

Banyanは、明示的な階層構造を活用することにより、意味表現を効率的に学習するモデルです。
トランスフォーマーは大規模に優れている間、彼らは低リソースの設定で苦労しています。
逆に、最近の構造化されたモデルは効率的な学習者として有望であることを示していますが、パフォーマンスがありません。
Banyanは、このギャップを2つの重要な革新で橋渡しします：絡み合った階層ツリー構造と斜めのメッセージの渡されたメッセージの渡され、14の非編集パラメーターでより大きなトランスモデルを上回ることができます。
低リソースの設定で優れており、過小評価されている言語の実行可能な代替品を提供し、リソースが制約された環境で効率的で解釈可能なNLPの可能性を強調します。

要約(オリジナル)

We present Banyan, a model that efficiently learns semantic representations by leveraging explicit hierarchical structure. While transformers excel at scale, they struggle in low-resource settings. Conversely recent structured models have shown promise as efficient learners, but lack performance. Banyan bridges this gap with two key innovations: an entangled hierarchical tree structure and diagonalized message passing, enabling it to outperform larger transformer models with just 14 non-embedding parameters. It excels in low-resource settings, offering a viable alternative for under-represented languages and highlighting its potential for efficient, interpretable NLP in resource-constrained environments.

arxiv情報

著者 Mattia Opper,N. Siddharth
発行日 2025-06-06 16:42:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Banyan: Improved Representation Learning with Explicit Structure はコメントを受け付けていません

Explaining Matters: Leveraging Definitions and Semantic Expansion for Sexism Detection

投稿日: 2025年6月9日 作成者: jarxiv

要約

有害な言語が女性や疎外されたグループに不釣り合いに影響を与えるため、オンラインコンテンツでの性差別の検出は未解決の問題のままです。
性差別検出のための自動化されたシステムが開発されていますが、それらは依然として2つの重要な課題に直面しています：データスパース性と性差別的言語の微妙な性質。
オンライン性差別（EDOS）の説明可能な検出のような大規模で十分にキュレーションされたデータセットでさえ、深刻なクラスの不均衡はモデルの一般化を妨げます。
さらに、微調整されたカテゴリの重複と曖昧な境界は、性差別の微妙な表現を解釈することの難しさを反映して、かなりの注釈者の意見の不一致をもたらします。
これらの課題に対処するために、2つのプロンプトベースのデータ増強技術を提案します：定義ベースのデータ増強（DDA）は、カテゴリ固有の定義を活用して、セマンティックに整列した合成例を生成し、コンテキストセマンティック拡張（CSE）を生成します。
細粒分類の信頼性をさらに向上させるために、複数の言語モデルから補完的な視点を集約することにより、予測関係を解決するアンサンブル戦略を導入します。
EDOSデータセットでの実験的評価は、すべてのタスクにわたって最先端のパフォーマンスを示しており、マクロF1の顕著な改善は、バイナリ分類で1.5ポイント（タスクA）、細粒分類で4.1ポイント（タスクC）を示しています。

要約(オリジナル)

The detection of sexism in online content remains an open problem, as harmful language disproportionately affects women and marginalized groups. While automated systems for sexism detection have been developed, they still face two key challenges: data sparsity and the nuanced nature of sexist language. Even in large, well-curated datasets like the Explainable Detection of Online Sexism (EDOS), severe class imbalance hinders model generalization. Additionally, the overlapping and ambiguous boundaries of fine-grained categories introduce substantial annotator disagreement, reflecting the difficulty of interpreting nuanced expressions of sexism. To address these challenges, we propose two prompt-based data augmentation techniques: Definition-based Data Augmentation (DDA), which leverages category-specific definitions to generate semantically-aligned synthetic examples, and Contextual Semantic Expansion (CSE), which targets systematic model errors by enriching examples with task-specific semantic features. To further improve reliability in fine-grained classification, we introduce an ensemble strategy that resolves prediction ties by aggregating complementary perspectives from multiple language models. Our experimental evaluation on the EDOS dataset demonstrates state-of-the-art performance across all tasks, with notable improvements of macro F1 by 1.5 points for binary classification (Task A) and 4.1 points for fine-grained classification (Task C).

arxiv情報

著者 Sahrish Khan,Arshad Jhumka,Gabriele Pergola
発行日 2025-06-06 16:58:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Explaining Matters: Leveraging Definitions and Semantic Expansion for Sexism Detection はコメントを受け付けていません

Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge

投稿日: 2025年6月9日 作成者: jarxiv

要約

検索された生成（RAG）は、検索した外部知識を生成プロセスに組み込むことにより、大規模な言語モデル（LLM）の幻覚を軽減するための費用対効果の高いアプローチです。
ただし、外部の知識は、LLMのパラメトリック知識と矛盾する場合があります。
さらに、現在のLLMは、このような知識の競合を解決するための固有のメカニズムを欠いており、従来のぼろきれの方法が劣化したパフォーマンスと安定性に苦しんでいます。
したがって、共有対象のセマンティックシナジー（DSSP-RAG）のためのデュアルストリームの知識補給フレームワークを提案します。
フレームワークの中心は、自己能力を洗練し、複合アテナンスを促進する新しいアプローチであり、制御された内部外部知識統合のための共有と私的セマンティクスを際立たせます。
DSSPをRAGで効果的に促進するために、認知的不確実性に基づいて監視されていない幻覚検出方法を導入し、知識を導入する必要性を確保し、注意差マトリックスに基づいて、回収された外部知識のノイズを減らすことができます。
ベンチマークデータセットでの広範な実験は、DSSP-RAGが競合を効果的に解決し、デュアルストリーム知識の相補性を高めることができ、強力なベースラインよりも優れたパフォーマンスにつながることを示しています。

要約(オリジナル)

Retrieval-augmented generation (RAG) is a cost-effective approach to mitigate the hallucination of Large Language Models (LLMs) by incorporating the retrieved external knowledge into the generation process. However, external knowledge may conflict with the parametric knowledge of LLMs. Furthermore, current LLMs lack inherent mechanisms for resolving such knowledge conflicts, making traditional RAG methods suffer from degraded performance and stability. Thus, we propose a Dual-Stream Knowledge-Augmented Framework for Shared-Private Semantic Synergy (DSSP-RAG). Central to the framework is a novel approach that refines self-attention into a mixed-attention, distinguishing shared and private semantics for a controlled internal-external knowledge integration. To effectively facilitate DSSP in RAG, we further introduce an unsupervised hallucination detection method based on cognitive uncertainty, ensuring the necessity of introducing knowledge, and an Energy Quotient (EQ) based on attention difference matrices to reduce noise in the retrieved external knowledge. Extensive experiments on benchmark datasets show that DSSP-RAG can effectively resolve conflicts and enhance the complementarity of dual-stream knowledge, leading to superior performance over strong baselines.

arxiv情報

著者 Yi Sui,Chaozhuo Li,Chen Zhang,Dawei song,Qiuchi Li
発行日 2025-06-06 17:00:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Bridging External and Parametric Knowledge: Mitigating Hallucination of LLMs with Shared-Private Semantic Synergy in Dual-Stream Knowledge はコメントを受け付けていません

A semantic embedding space based on large language models for modelling human beliefs

投稿日: 2025年6月9日 作成者: jarxiv

要約

信念は、人間の認知と意思決定の基礎を形成し、私たちの行動と社会的つながりを導きます。
信念とその相互関係をカプセル化するモデルは、私たちの行動に対する彼らの影響を理解するために重要です。
しかし、信念の相互作用に関する研究は、多くの場合、特定の問題に関連する信念に限定されており、調査に大きく依存しています。
オンラインユーザーの討論データを活用し、微調整された大手言語モデル（LLM）を使用して構築されたニューラル埋め込みスペースに信念をマッピングすることにより、数千の信念間の微妙な相互作用を研究する方法を提案します。
この信念空間は、社会問題全体の多様な信念の相互接続性と二極化を捉えています。
私たちの調査結果は、この信念空間内の立場が個人の新しい信念を予測し、既存の信念と新しい信念の間の距離に基づいて認知的不協和を推定することを示しています。
この研究は、LLMが人間の信念の集合的なオンライン記録と組み合わさって、人間の信念形成を支配する基本原則に関する洞察を提供する方法を示しています。

要約(オリジナル)

Beliefs form the foundation of human cognition and decision-making, guiding our actions and social connections. A model encapsulating beliefs and their interrelationships is crucial for understanding their influence on our actions. However, research on belief interplay has often been limited to beliefs related to specific issues and relied heavily on surveys. We propose a method to study the nuanced interplay between thousands of beliefs by leveraging an online user debate data and mapping beliefs onto a neural embedding space constructed using a fine-tuned large language model (LLM). This belief space captures the interconnectedness and polarization of diverse beliefs across social issues. Our findings show that positions within this belief space predict new beliefs of individuals and estimate cognitive dissonance based on the distance between existing and new beliefs. This study demonstrates how LLMs, combined with collective online records of human beliefs, can offer insights into the fundamental principles that govern human belief formation.

arxiv情報

著者 Byunghwee Lee,Rachith Aiyappa,Yong-Yeol Ahn,Haewoon Kwak,Jisun An
発行日 2025-06-06 17:30:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CY, physics.soc-ph | A semantic embedding space based on large language models for modelling human beliefs はコメントを受け付けていません

MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Chatbots and Dialogue Evaluators

投稿日: 2025年6月9日 作成者: jarxiv

要約

チャットボットとその基礎となるLLMの機能が劇的に改善され続けているため、パフォーマンスを評価することは、さらなる開発の主要なブロッカーになりつつあります。
主な課題は、利用可能なベンチマークデータセットです。これは、大部分が静的で、時代遅れで、多言語のカバレッジが不足しており、微妙な言語的および文化的変化をキャプチャする能力を制限します。
このペーパーでは、より代表的で多様なオープンドメインダイアログ評価ベンチマークを生成、評価、キュレーションするための自動化されたマルチエージェントフレームワークであるメダルを紹介します。
私たちのアプローチは、さまざまな種子のコンテキストを条件付けしたユーザーチャットボット多言語の対話を生成するために、いくつかの最先端のLLMを活用しています。
次に、強力なLLM（GPT-4.1）が、チャットボットのパフォーマンスの多次元分析に使用され、顕著な横断的パフォーマンスの違いを明らかにします。
この大規模な評価に導かれ、新しいメタ評価多言語ベンチマークとヒトアノテートサンプルを微妙な品質判断でキュレートします。
このベンチマークは、オープンドメインダイアログの評価者として機能するいくつかの推論と非合理LLMの能力を評価するために使用されます。
現在のLLMは、微妙な問題、特に共感と推論を含む問題を検出するのに苦労していることがわかります。

要約(オリジナル)

As the capabilities of chatbots and their underlying LLMs continue to dramatically improve, evaluating their performance has increasingly become a major blocker to their further development. A major challenge is the available benchmarking datasets, which are largely static, outdated, and lacking in multilingual coverage, limiting their ability to capture subtle linguistic and cultural variations. This paper introduces MEDAL, an automated multi-agent framework for generating, evaluating, and curating more representative and diverse open-domain dialogue evaluation benchmarks. Our approach leverages several state-of-the-art LLMs to generate user-chatbot multilingual dialogues, conditioned on varied seed contexts. A strong LLM (GPT-4.1) is then used for a multidimensional analysis of the performance of the chatbots, uncovering noticeable cross-lingual performance differences. Guided by this large-scale evaluation, we curate a new meta-evaluation multilingual benchmark and human-annotate samples with nuanced quality judgments. This benchmark is then used to assess the ability of several reasoning and non-reasoning LLMs to act as evaluators of open-domain dialogues. We find that current LLMs struggle to detect nuanced issues, particularly those involving empathy and reasoning.

arxiv情報

著者 John Mendonça,Alon Lavie,Isabel Trancoso
発行日 2025-06-06 17:53:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | MEDAL: A Framework for Benchmarking LLMs as Multilingual Open-Domain Chatbots and Dialogue Evaluators はコメントを受け付けていません

AdvSumm: Adversarial Training for Bias Mitigation in Text Summarization

投稿日: 2025年6月9日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、テキストの要約で印象的なパフォーマンスを達成しており、実際のアプリケーションでますます展開されています。
ただし、これらのシステムは、トレーニング前のデータからの連想およびフレーミングバイアスを継承し、下流タスクで不適切または不公平な出力につながります。
この作業では、改善された一般化を通じてテキスト要約でバイアスを緩和するために設計されたドメインと存在するトレーニングフレームワークであるAdvsumm（敵対的要約）を提示します。
敵対的な堅牢性に触発されたAdvsummは、シーケンスからシーケンスモデルの埋め込みレベルで勾配誘導摂動を適用する新しいターバーバーコンポーネントを導入し、入力変動に対するモデルの堅牢性を高めます。
Advsummは、要約のバイアスと政治的フレーミングのバイアスを妥協することなく、要約のバイアスを要約に効果的に減少させることを経験的に実証します。
標準的な変圧器やバック翻訳などのデータ増強技術と比較して、Advsummはベンチマークデータセット全体でより強力なバイアス緩和パフォーマンスを達成します。

要約(オリジナル)

Large Language Models (LLMs) have achieved impressive performance in text summarization and are increasingly deployed in real-world applications. However, these systems often inherit associative and framing biases from pre-training data, leading to inappropriate or unfair outputs in downstream tasks. In this work, we present AdvSumm (Adversarial Summarization), a domain-agnostic training framework designed to mitigate bias in text summarization through improved generalization. Inspired by adversarial robustness, AdvSumm introduces a novel Perturber component that applies gradient-guided perturbations at the embedding level of Sequence-to-Sequence models, enhancing the model’s robustness to input variations. We empirically demonstrate that AdvSumm effectively reduces different types of bias in summarization-specifically, name-nationality bias and political framing bias-without compromising summarization quality. Compared to standard transformers and data augmentation techniques like back-translation, AdvSumm achieves stronger bias mitigation performance across benchmark datasets.

arxiv情報

著者 Mukur Gupta,Nikhil Reddy Varimalla,Nicholas Deas,Melanie Subbiah,Kathleen McKeown
発行日 2025-06-06 17:57:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | AdvSumm: Adversarial Training for Bias Mitigation in Text Summarization はコメントを受け付けていません

Efficient Fine-Grained Guidance for Diffusion Model Based Symbolic Music Generation

投稿日: 2025年6月9日 作成者: jarxiv

要約

生成モデルを開発して、象徴的な音楽を作成または条件付けて作成することは、データの可用性が限られていることとメモピッチの高精度の必要性の組み合わせにより、独自の課題を提示します。
これらの課題に対処するために、拡散モデル内に効率的な細かいガイダンス（FGG）アプローチを導入します。
FGGは、拡散モデルをガイドして、生成された音楽の精度、リステリビリティ、品質を向上させるために重要な専門家の作曲家の制御と意図とより密接に一致する音楽を生成します。
このアプローチにより、拡散モデルは、即興演奏やインタラクティブな音楽作成などの高度なアプリケーションで優れています。
象徴的な音楽生成における課題とFGGアプローチの効果の両方について、理論的特性を導き出します。
数値実験と主観的評価を提供して、アプローチの有効性を実証します。
リアルタイムのインタラクティブな生成を可能にするパフォーマンスを紹介するデモページを公開しました。

要約(オリジナル)

Developing generative models to create or conditionally create symbolic music presents unique challenges due to the combination of limited data availability and the need for high precision in note pitch. To address these challenges, we introduce an efficient Fine-Grained Guidance (FGG) approach within diffusion models. FGG guides the diffusion models to generate music that aligns more closely with the control and intent of expert composers, which is critical to improve the accuracy, listenability, and quality of generated music. This approach empowers diffusion models to excel in advanced applications such as improvisation, and interactive music creation. We derive theoretical characterizations for both the challenges in symbolic music generation and the effects of the FGG approach. We provide numerical experiments and subjective evaluation to demonstrate the effectiveness of our approach. We have published a demo page to showcase performances, which enables real-time interactive generation.

arxiv情報

著者 Tingyu Zhu,Haoyu Liu,Ziyu Wang,Zhimin Jiang,Zeyu Zheng
発行日 2025-06-06 13:03:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.MM, cs.SD, eess.AS | Efficient Fine-Grained Guidance for Diffusion Model Based Symbolic Music Generation はコメントを受け付けていません

Microgrids Coalitions for Energy Market Balancing

投稿日: 2025年6月9日 作成者: jarxiv

要約

電力流通ネットワークに再生可能なソースが統合されると、エネルギー市場のバランスをとるためのインテリジェントなメカニズムを開発する必要性が生じています。
このようなメカニズムがない場合、エネルギー市場は、グリッドレベルでの停電、財政的損失、または不安定性につながる可能性のある不均衡に直面する可能性があります。
これに関連して、マイクログリッドのグループ化は、余剰期間中に市場からエネルギーを吸収したり、流通ネットワークの効率的な管理における重要な側面です。
この記事では、エネルギー市場のダイナミクスに対処できる最適なマイクログリッド連合を特定する方法を提案します。
提案された方法は、協同組合ゲーム理論に触発された戦略をミームのアルゴリズムと組み合わせることにより、最適な連合を最適化の問題として識別する問題をモデル化します。
個人はマイクログリッドの連合として表され、世代にわたる個人の人口の進化は、組換えと突然変異によって保証されます。
フィットネス関数は、連合によって生成される合計値と、連合によって取引されたエネルギーがエネルギー市場で利用可能/要求されるエネルギーを超えた場合に連合に適用されるペナルティの差として定義されます。
連合によって生み出される価値は、赤字の期間中に市場でエネルギーを売る場合、または余剰期間中に市場でエネルギーを購入した場合、取引プロセスに関連するコストで連合によって得られた貯蓄が販売​​する場合、照合によって得られる利益に基づいて計算されます。
この値は、Shapleyの価値に従って、連合のメンバーの間で公平に分割されており、それぞれが集合的価値の形成への貢献を考慮しています。

要約(オリジナル)

With the integration of renewable sources in electricity distribution networks, the need to develop intelligent mechanisms for balancing the energy market has arisen. In the absence of such mechanisms, the energy market may face imbalances that can lead to power outages, financial losses or instability at the grid level. In this context, the grouping of microgrids into optimal coalitions that can absorb energy from the market during periods of surplus or supply energy to the market during periods of is a key aspect in the efficient management of distribution networks. In this article, we propose a method that identify an optimal microgrids coalition capable of addressing the dynamics of the energy market. The proposed method models the problem of identifying the optimal coalition as an optimization problem that it solves by combining a strategy inspired by cooperative game theory with a memetic algorithm. An individual is represented as a coalition of microgrids and the evolution of population of individuals over generations is assured by recombination and mutation. The fitness function is defined as the difference between the total value generated by the coalition and a penalty applied to the coalition when the energy traded by coalition exceeds the energy available/demanded on/by the energy market. The value generated by the coalition is calculated based on the profit obtained by the collation if it sells energy on the market during periods of deficit or the savings obtained by the coalition if it buys energy on the market during periods of surplus and the costs associated with the trading process. This value is divided equitably among the coalition members, according to the Shapley value, which considers the contribution of each one to the formation of collective value.

arxiv情報

著者 Viorica Chifu,Cristina Bianca Pop,Tudor Cioara,Ionut Anghel
発行日 2025-06-06 13:06:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.GT | Microgrids Coalitions for Energy Market Balancing はコメントを受け付けていません

Simple Yet Effective: Extracting Private Data Across Clients in Federated Fine-Tuning of Large Language Models

投稿日: 2025年6月9日 作成者: jarxiv

要約

大規模な言語モデル（FEDLLMS）のフェデレーションされた微調整は、機密ドメインでデータプライバシーを維持しながら、強力なモデルパフォーマンスを達成するための有望なアプローチを提示します。
ただし、LLMSの固有の記憶能力により、データ抽出攻撃のトレーニングに対して脆弱になります。
このリスクを調査するために、FedllMS専用に設計されたシンプルで効果的な抽出攻撃アルゴリズムを導入します。
すべてのトレーニングデータからのフラグメントへのアクセスを想定する以前の「逐語的」抽出攻撃とは対照的に、私たちのアプローチは、より現実的な脅威モデルの下で動作します。攻撃者は、単一のクライアントのデータにのみアクセスし、他のクライアントから以前に見られなかった個人を特定できる情報（PII）を抽出することを目的としています。
これには、クライアント全体で一般化するために攻撃者が保持しているコンテキストプレフィックスを活用する必要があります。
アプローチの有効性を評価するために、2つの厳密なメトリックカバーレートと効率性を提案し、CPI、GDPR、およびCCPA基準に沿ったPIIアノテーションを備えた実世界の法的データセットを拡張し、89.9％の人間の検証精度を達成します。
実験結果は、私たちの方法が被害者専用PIIの最大56.57％を抽出できることを示しています。
私たちの調査結果は、堅牢な防衛戦略の差し迫った必要性を強調し、プライバシーを提供する連邦学習における将来の研究のための新しいベンチマークと評価フレームワークを提供します。

要約(オリジナル)

Federated fine-tuning of large language models (FedLLMs) presents a promising approach for achieving strong model performance while preserving data privacy in sensitive domains. However, the inherent memorization ability of LLMs makes them vulnerable to training data extraction attacks. To investigate this risk, we introduce simple yet effective extraction attack algorithms specifically designed for FedLLMs. In contrast to prior ‘verbatim’ extraction attacks, which assume access to fragments from all training data, our approach operates under a more realistic threat model, where the attacker only has access to a single client’s data and aims to extract previously unseen personally identifiable information (PII) from other clients. This requires leveraging contextual prefixes held by the attacker to generalize across clients. To evaluate the effectiveness of our approaches, we propose two rigorous metrics-coverage rate and efficiency-and extend a real-world legal dataset with PII annotations aligned with CPIS, GDPR, and CCPA standards, achieving 89.9% human-verified precision. Experimental results show that our method can extract up to 56.57% of victim-exclusive PII, with ‘Address,’ ‘Birthday,’ and ‘Name’ being the most vulnerable categories. Our findings underscore the pressing need for robust defense strategies and contribute a new benchmark and evaluation framework for future research in privacy-preserving federated learning.

arxiv情報

著者 Yingqi Hu,Zhuo Zhang,Jingyuan Zhang,Lizhen Qu,Zenglin Xu
発行日 2025-06-06 13:13:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Simple Yet Effective: Extracting Private Data Across Clients in Federated Fine-Tuning of Large Language Models はコメントを受け付けていません