Enhancing Multi-Hop Fact Verification with Structured Knowledge-Augmented Large Language Models

投稿日: 2025年3月12日 作成者: jarxiv

要約

ソーシャルプラットフォームの急速な発展は、誤った情報の普及を悪化させ、実際に検証する研究を刺激します。
最近の研究は、セマンティック機能を活用して、この問題をシングルホップタスクとして解決する傾向があります。
ただし、クレームを検証するプロセスには、複雑な内部論理と関係を備えたいくつかの証拠が必要です。
最近の研究では、パフォーマンスを向上させるために理解と推論能力の両方を改善しようとしていますが、モデルに利益をもたらすエンティティ間の重要な関係を見落として、よりよく理解し、予測を促進します。
関係の重要性を強調するために、私たちは彼らの優れた理解能力を考慮して、大規模な言語モデル（LLM）に頼ります。
LLMSを予測子として使用する他の方法の代わりに、実験結果に応じて推論よりも理解するのではなく、理解するのがより良くなるため、それらを関係抽出器として使用します。
したがって、上記の課題を解決するために、マルチホップの事実検証のために、新しい構造化された知識を得たLLMベースのネットワーク（LLM-SKAN）を提案します。
具体的には、LLM駆動型の知識抽出器を利用して、エンティティやその複雑な関係を含むきめの細かい情報をキャプチャします。
その上、知識が高まることを活用して、各ノードと対話し、より良い請求権の表現を包括的に学習します。
4つの一般的なデータセットの実験結果は、モデルの有効性と優位性を示しています。

要約(オリジナル)

The rapid development of social platforms exacerbates the dissemination of misinformation, which stimulates the research in fact verification. Recent studies tend to leverage semantic features to solve this problem as a single-hop task. However, the process of verifying a claim requires several pieces of evidence with complicated inner logic and relations to verify the given claim in real-world situations. Recent studies attempt to improve both understanding and reasoning abilities to enhance the performance, but they overlook the crucial relations between entities that benefit models to understand better and facilitate the prediction. To emphasize the significance of relations, we resort to Large Language Models (LLMs) considering their excellent understanding ability. Instead of other methods using LLMs as the predictor, we take them as relation extractors, for they do better in understanding rather than reasoning according to the experimental results. Thus, to solve the challenges above, we propose a novel Structured Knowledge-Augmented LLM-based Network (LLM-SKAN) for multi-hop fact verification. Specifically, we utilize an LLM-driven Knowledge Extractor to capture fine-grained information, including entities and their complicated relations. Besides, we leverage a Knowledge-Augmented Relation Graph Fusion module to interact with each node and learn better claim-evidence representations comprehensively. The experimental results on four common-used datasets demonstrate the effectiveness and superiority of our model.

arxiv情報

著者 Han Cao,Lingwei Wei,Wei Zhou,Songlin Hu
発行日 2025-03-11 14:47:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Enhancing Multi-Hop Fact Verification with Structured Knowledge-Augmented Large Language Models はコメントを受け付けていません

ReviewAgents: Bridging the Gap Between Human and AI-Generated Paper Reviews

投稿日: 2025年3月12日 作成者: jarxiv

要約

アカデミックペーパーレビューは、研究コミュニティ内で重要でありながら時間のかかるタスクです。
学術出版物の量が増えるにつれて、レビュープロセスを自動化することが重要な課題になりました。
主な問題は、人間のレビュアーの判断と一致する、包括的で正確で、推論的なレビューコメントを生成することにあります。
このペーパーでは、レビューアジェントを提案することにより、この課題に対処します。これは、大規模な言語モデル（LLM）を活用してアカデミックペーパーレビューを生成するフレームワークです。
最初に、LLMエージェントのトレーニング用に設計された142kのレビューコメントで構成される新しいレビューコットを紹介します。
このデータセットは、人間のレビュー担当者が論文を妨害し、関連する作品を参照し、長所と短所を特定し、レビューの結論を生み出すという構造化された推論プロセスをエミュレートします。
これに基づいて、関連するペーパー認識トレーニング方法を使用して、構造化された推論を可能にするLLMレビュアーエージェントを訓練します。
さらに、レビューコメント生成プロセスを強化するために、マルチロールのマルチLLMエージェントレビューフレームワークであるReviewAgentを構築します。
さらに、LLMSによって生成されたレビューコメントを評価するためのベンチマークであるReviewBenchを提案します。
ReviewBenchでの実験結果は、既存のLLMがレビュープロセスを自動化するためのある程度の可能性を示しているが、人間が生成したレビューと比較してギャップが残っていることを示しています。
さらに、ReviewAgentsフレームワークはこのギャップをさらに狭め、レビューコメントを生成する際に高度なLLMを上回ります。

要約(オリジナル)

Academic paper review is a critical yet time-consuming task within the research community. With the increasing volume of academic publications, automating the review process has become a significant challenge. The primary issue lies in generating comprehensive, accurate, and reasoning-consistent review comments that align with human reviewers’ judgments. In this paper, we address this challenge by proposing ReviewAgents, a framework that leverages large language models (LLMs) to generate academic paper reviews. We first introduce a novel dataset, Review-CoT, consisting of 142k review comments, designed for training LLM agents. This dataset emulates the structured reasoning process of human reviewers-summarizing the paper, referencing relevant works, identifying strengths and weaknesses, and generating a review conclusion. Building upon this, we train LLM reviewer agents capable of structured reasoning using a relevant-paper-aware training method. Furthermore, we construct ReviewAgents, a multi-role, multi-LLM agent review framework, to enhance the review comment generation process. Additionally, we propose ReviewBench, a benchmark for evaluating the review comments generated by LLMs. Our experimental results on ReviewBench demonstrate that while existing LLMs exhibit a certain degree of potential for automating the review process, there remains a gap when compared to human-generated reviews. Moreover, our ReviewAgents framework further narrows this gap, outperforming advanced LLMs in generating review comments.

arxiv情報

著者 Xian Gao,Jiacheng Ruan,Jingsheng Gao,Ting Liu,Yuzhuo Fu
発行日 2025-03-11 14:56:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | ReviewAgents: Bridging the Gap Between Human and AI-Generated Paper Reviews はコメントを受け付けていません

Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency

投稿日: 2025年3月12日 作成者: jarxiv

要約

多数のパラメーターにより、大規模な言語モデル（LLM）の推論フェーズはリソース集約型です。
再訓練を必要とする従来のモデル圧縮とは異なり、最近の動的計算方法は、すべてのコンポーネントが推論に必要なわけではなく、トレーニングなしのパイプラインを可能にすることを示しています。
この論文では、LLM生成の動的な深さに焦点を当てています。
パフォーマンスを維持しながら効率的に1.5倍の操作を節約するために、トークンポジションの認識レイヤースキップフレームワークが提案されています。
最初に、予測されたトークンは後で困惑し、したがって計算が少ないことを観察しました。
次に、Position-Law Decay Function、$ \ left \ lfloor l \ times（\ alpha^i）\ right \ rfloor $をレバレッジするポジショナルアウェア深度減衰デコード（$ d^3 $）と呼ばれるトレーニングフリーアルゴリズムを提案します。
驚くべきことに、再訓練がなければ、$ d^3 $は、幅広い世代のタスクにわたって初めて成功を収めています。
$ 7 \ sim 70億ドルのパラメーターを使用した大規模な言語モデル（\ ie llama）の実験は、$ d^3 $がGSM8KおよびBBHベンチャーマークでほぼパフォーマンスドロップ（$ <1 \％$）で同等のパフォーマンスを維持しながら、平均1.5倍のスピードアップを達成できることを示しています。

要約(オリジナル)

Due to the large number of parameters, the inference phase of Large Language Models (LLMs) is resource-intensive. Unlike traditional model compression, which needs retraining, recent dynamic computation methods show that not all components are required for inference, enabling a training-free pipeline. In this paper, we focus on the dynamic depth of LLM generation. A token-position aware layer skipping framework is proposed to save 1.5x times operations efficiently while maintaining performance. We first observed that tokens predicted later have lower perplexity and thus require less computation. Then, we propose a training-free algorithm called Position-Aware Depth Decay Decoding ($D^3$), which leverages a power-law decay function, $\left\lfloor L \times (\alpha^i) \right\rfloor$, to determine the number of layers to retain when generating token $T_i$. Remarkably, without any retraining, the $D^3$ achieves success across a wide range of generation tasks for the first time. Experiments on large language models (\ie the Llama) with $7 \sim 70$ billion parameters show that $D^3$ can achieve an average 1.5x speedup compared with the full-inference pipeline while maintaining comparable performance with nearly no performance drop ($<1\%$) on the GSM8K and BBH benchmarks.

arxiv情報

著者 Siqi Fan,Xuezhi Fang,Xingrun Xing,Peng Han,Shuo Shang,Yequan Wang
発行日 2025-03-11 15:15:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Position-Aware Depth Decay Decoding ($D^3$): Boosting Large Language Model Inference Efficiency はコメントを受け付けていません

Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation

投稿日: 2025年3月12日 作成者: jarxiv

要約

対照的な学習は、「露出バイアス」の問題を軽視し、異なるリファレンスの質を差別的に活用するために、世代のタスクで印象的な成功を達成しました。
既存の作品は、主に各単語の貢献を区別することなくインスタンスレベルでの対照的な学習に焦点を当てていますが、キーワードはテキストの要点であり、制約付きマッピング関係を支配しています。
したがって、この作業では、入力テキストでハイブリッド粒度セマンティックな意味を統合できる階層的な対照学習メカニズムを提案します。
具体的には、キーワード表現を繰り返し磨くために、正の陰性ペアの対照的な相関を介してキーワードグラフを最初に提案します。
次に、インスタンスレベルとキーワードレベル内でコントラスト内を構築し、単語が文の分布からサンプリングされたノードであると仮定します。
最後に、独立したコントラストレベル間のギャップを埋め、一般的なコントラストの消失問題に取り組むために、インスタンス分布にそれぞれ対照的なキーワードノード間の矛盾を測定するコントラスト間メカニズムを提案します。
実験は、私たちのモデルが、言い換え、対話の生成、ストーリーテリングのタスクに関する競争力のあるベースラインよりも優れていることを示しています。

要約(オリジナル)

Contrastive learning has achieved impressive success in generation tasks to militate the ‘exposure bias’ problem and discriminatively exploit the different quality of references. Existing works mostly focus on contrastive learning on the instance-level without discriminating the contribution of each word, while keywords are the gist of the text and dominant the constrained mapping relationships. Hence, in this work, we propose a hierarchical contrastive learning mechanism, which can unify hybrid granularities semantic meaning in the input text. Concretely, we first propose a keyword graph via contrastive correlations of positive-negative pairs to iteratively polish the keyword representations. Then, we construct intra-contrasts within instance-level and keyword-level, where we assume words are sampled nodes from a sentence distribution. Finally, to bridge the gap between independent contrast levels and tackle the common contrast vanishing problem, we propose an inter-contrast mechanism that measures the discrepancy between contrastive keyword nodes respectively to the instance distribution. Experiments demonstrate that our model outperforms competitive baselines on paraphrasing, dialogue generation, and storytelling tasks.

arxiv情報

著者 Mingzhe Li,XieXiong Lin,Xiuying Chen,Jinxiong Chang,Qishen Zhang,Feng Wang,Taifeng Wang,Zhongyi Liu,Wei Chu,Dongyan Zhao,Rui Yan
発行日 2025-03-11 15:21:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation はコメントを受け付けていません

ESPnet-SDS: Unified Toolkit and Demo for Spoken Dialogue Systems

投稿日: 2025年3月12日 作成者: jarxiv

要約

Audio Foundation Models（FMS）の進歩は、エンドツーエンド（E2E）の音声対話システムへの関心を高めていますが、各システムのWebインターフェイスは異なるため、それらを効果的に比較対照することが困難になります。
これに動機付けられて、私たちは、さまざまなカスケードおよびE2Eの音声音声ダイアログシステム向けに統一されたWebインターフェイスを構築するように設計されたオープンソースのユーザーフレンドリーなツールキットを導入します。
Demoはさらに、ユーザーに、（1）レイテンシ、（2）ユーザー入力を理解する能力、（3）コヒーレンス、多様性、およびシステム応答の関連性、（4）システム出力のオーディオ品質など、オンザフライフライの自動評価メトリックを取得するオプションを提供します。
評価メトリックを使用して、さまざまなカスケードとE2Eの話し言葉システムを人間の人間の会話データセットと比較します。
私たちの分析は、このツールキットにより、研究者がさまざまなテクノロジーを簡単に比較して対比できることを示しており、現在のE2Eシステムなどの貴重な洞察をオーディオの品質が低く、より多様な応答を提供します。
Toolkitを使用して作成されたデモの例は、https：//huggingface.co/spaces/siddhant/voice_assistant_demoで公開されています。

要約(オリジナル)

Advancements in audio foundation models (FMs) have fueled interest in end-to-end (E2E) spoken dialogue systems, but different web interfaces for each system makes it challenging to compare and contrast them effectively. Motivated by this, we introduce an open-source, user-friendly toolkit designed to build unified web interfaces for various cascaded and E2E spoken dialogue systems. Our demo further provides users with the option to get on-the-fly automated evaluation metrics such as (1) latency, (2) ability to understand user input, (3) coherence, diversity, and relevance of system response, and (4) intelligibility and audio quality of system output. Using the evaluation metrics, we compare various cascaded and E2E spoken dialogue systems with a human-human conversation dataset as a proxy. Our analysis demonstrates that the toolkit allows researchers to effortlessly compare and contrast different technologies, providing valuable insights such as current E2E systems having poorer audio quality and less diverse responses. An example demo produced using our toolkit is publicly available here: https://huggingface.co/spaces/Siddhant/Voice_Assistant_Demo.

arxiv情報

著者 Siddhant Arora,Yifan Peng,Jiatong Shi,Jinchuan Tian,William Chen,Shikhar Bharadwaj,Hayato Futami,Yosuke Kashiwagi,Emiru Tsunoo,Shuichiro Shimizu,Vaibhav Srivastav,Shinji Watanabe
発行日 2025-03-11 15:24:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SD, eess.AS | ESPnet-SDS: Unified Toolkit and Demo for Spoken Dialogue Systems はコメントを受け付けていません

Transferring Extreme Subword Style Using Ngram Model-Based Logit Scaling

投稿日: 2025年3月12日 作成者: jarxiv

要約

NGRAMモデルベースのロジットスケーリング手法を提示し、推論時に極端なサブワードスタイルのバリエーションを大規模な言語モデルに効果的に転送します。
評価モデルのNGRAM補間と元のバージョンに関して、生成されたテキストの困惑を追跡することにより、その有効性を実証します。
前者の測定値を最小化する一方、後者はターゲットの著者またはキャラクターによって生成されたテキストの困惑に近づくと、流encyさを維持しながら十分な適応を選択できます。

要約(オリジナル)

We present an ngram model-based logit scaling technique that effectively transfers extreme subword stylistic variation to large language models at inference time. We demonstrate its efficacy by tracking the perplexity of generated text with respect to the ngram interpolated and original versions of an evaluation model. Minimizing the former measure while the latter approaches the perplexity of a text produced by a target author or character lets us select a sufficient degree of adaptation while retaining fluency.

arxiv情報

著者 Craig Messner,Tom Lippincott
発行日 2025-03-11 15:36:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Transferring Extreme Subword Style Using Ngram Model-Based Logit Scaling はコメントを受け付けていません

DeepReview: Improving LLM-based Paper Review with Human-like Deep Thinking Process

投稿日: 2025年3月12日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、科学研究評価、特に自動紙のレビューでますます利用されています。
ただし、既存のLLMベースのレビューシステムは、限られたドメインの専門知識、幻覚の推論、構造化された評価の欠如など、重要な課題に直面しています。
これらの制限に対処するために、構造化された分析、文献検索、およびエビデンスに基づいた議論を組み込むことにより、専門家のレビュー担当者をエミュレートするように設計されたマルチステージフレームワークであるDeepReviewを紹介します。
構造化された注釈を備えたキュレーションされたデータセットであるDeepReview-13Kを使用して、DeepReviewer-14Bをトレーニングします。これは、Cyclereviewer-70Bをより少ないトークンで上回ることができます。
その最良のモードでは、DeepReviewer-14Bは、評価でGPT-O1とDeepSeek-R1に対して88.21 \％および80.20 \％の勝利率を達成します。
私たちの仕事は、LLMベースのペーパーレビューの新しいベンチマークを設定し、すべてのリソースが公開されています。
コード、モデル、データセット、デモは、http：//ai-researcher.netでリリースされています。

要約(オリジナル)

Large Language Models (LLMs) are increasingly utilized in scientific research assessment, particularly in automated paper review. However, existing LLM-based review systems face significant challenges, including limited domain expertise, hallucinated reasoning, and a lack of structured evaluation. To address these limitations, we introduce DeepReview, a multi-stage framework designed to emulate expert reviewers by incorporating structured analysis, literature retrieval, and evidence-based argumentation. Using DeepReview-13K, a curated dataset with structured annotations, we train DeepReviewer-14B, which outperforms CycleReviewer-70B with fewer tokens. In its best mode, DeepReviewer-14B achieves win rates of 88.21\% and 80.20\% against GPT-o1 and DeepSeek-R1 in evaluations. Our work sets a new benchmark for LLM-based paper review, with all resources publicly available. The code, model, dataset and demo have be released in http://ai-researcher.net.

arxiv情報

著者 Minjun Zhu,Yixuan Weng,Linyi Yang,Yue Zhang
発行日 2025-03-11 15:59:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | DeepReview: Improving LLM-based Paper Review with Human-like Deep Thinking Process はコメントを受け付けていません

NSF-SciFy: Mining the NSF Awards Database for Scientific Claims

投稿日: 2025年3月12日 作成者: jarxiv

要約

NSF-Scifeは、50年に及ぶ40万を超える助成金の要約を含む、National Science Foundation（NSF）Awardsデータベースから派生した科学的請求抽出のための大規模なデータセットであるNSF-Scifyを紹介します。
以前のデータセットは公開された文献に依存していましたが、ユニークな利点を提供するグラントアブストラクトを活用しています。彼らは、出版前に研究ライフサイクルの初期の段階でクレームを獲得します。
また、既存の科学的主張と提案における野心的な研究の意図を区別するための新しいタスクを紹介します。フロンティアの大規模な言語モデルとのゼロショットプロンプトを使用して、材料科学ドメインの16Kグラントアブストラクトから114K科学的主張と145kの調査提案を共同で抽出し、NSF-サイズマツシと呼ばれるフォーカスサブセットを作成します。
このデータセットを使用して、3つの3つの重要なタスクを評価します。（1）技術から非技術的な抽象的な生成、モデルが高バートスコア（0.85+ F1）を達成します。
（2）微調整されたモデルが100％相対的な改善によりベースモデルを上回る科学的請求抽出。
（3）調査提案の抽出、微調整による90％以上の改善を示しています。
請求/提案抽出品質の堅牢な評価のための新しいLLMベースの評価メトリックを紹介します。
NSFによって資金提供されたすべてのSTEM分野にわたって推定280万の請求により、これまでの最大の科学的請求データセットとして、NSF-Scifeは、請求検証とメタ科学的研究の新しい機会を可能にします。
さらなる研究を促進するために、すべてのデータセット、トレーニングモデル、および評価コードを公開します。

要約(オリジナル)

We present NSF-SciFy, a large-scale dataset for scientific claim extraction derived from the National Science Foundation (NSF) awards database, comprising over 400K grant abstracts spanning five decades. While previous datasets relied on published literature, we leverage grant abstracts which offer a unique advantage: they capture claims at an earlier stage in the research lifecycle before publication takes effect. We also introduce a new task to distinguish between existing scientific claims and aspirational research intentions in proposals.Using zero-shot prompting with frontier large language models, we jointly extract 114K scientific claims and 145K investigation proposals from 16K grant abstracts in the materials science domain to create a focused subset called NSF-SciFy-MatSci. We use this dataset to evaluate 3 three key tasks: (1) technical to non-technical abstract generation, where models achieve high BERTScore (0.85+ F1); (2) scientific claim extraction, where fine-tuned models outperform base models by 100% relative improvement; and (3) investigation proposal extraction, showing 90%+ improvement with fine-tuning. We introduce novel LLM-based evaluation metrics for robust assessment of claim/proposal extraction quality. As the largest scientific claim dataset to date — with an estimated 2.8 million claims across all STEM disciplines funded by the NSF — NSF-SciFy enables new opportunities for claim verification and meta-scientific research. We publicly release all datasets, trained models, and evaluation code to facilitate further research.

arxiv情報

著者 Delip Rao,Weiqiu You,Eric Wong,Chris Callison-Burch
発行日 2025-03-11 16:35:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | NSF-SciFy: Mining the NSF Awards Database for Scientific Claims はコメントを受け付けていません

Efficient Many-Shot In-Context Learning with Dynamic Block-Sparse Attention

投稿日: 2025年3月12日 作成者: jarxiv

要約

多くのショット内の学習学習は、最近、複数のタスクで同じモデルを提供できるという主要な利点をもたらす微調整の代替として有望であることを示しています。
ただし、これにより、計算の負担がトレーニング時間から推論時間にシフトし、多くのショットICLの展開が実践を正当化するのに挑戦します。
このコストは、推論の例ごとにカスタムデモセットが取得された場合、さらに増加し​​ます。
検索ベースの多くのショット内コンテキスト学習のためのトレーニングフリーのフレームワークである動的ブロックスパースの注意を紹介します。
慎重に設計されたブロックスパースの注意とキャッシュされたデモンストレーショングループの検索を組み合わせることにより、強力なICLとフィニティングベースラインにわたる最良の方法の精度の平均を平均して維持しながら、微調整に匹敵する速度ごとの遅延を達成します。
これにより、さらに多くのショットICLが大規模に展開できるようになることを願っています。

要約(オリジナル)

Many-shot in-context learning has recently shown promise as an alternative to finetuning, with the major advantage that the same model can be served for multiple tasks. However, this shifts the computational burden from training-time to inference-time, making deployment of many-shot ICL challenging to justify in-practice. This cost is further increased if a custom demonstration set is retrieved for each inference example. We present Dynamic Block-Sparse Attention, a training-free framework for retrieval-based many-shot in-context learning. By combining carefully designed block-sparse attention and retrieval of cached groups of demonstrations, we achieve comparable per-example latency to finetuning while maintaining on average >95% of the best method’s accuracy across strong ICL and finetuning baselines. We hope that this will further enable the deployment of many-shot ICL at scale.

arxiv情報

著者 Emily Xiao,Chin-Jou Li,Yilin Zhang,Graham Neubig,Amanda Bertsch
発行日 2025-03-11 17:30:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Efficient Many-Shot In-Context Learning with Dynamic Block-Sparse Attention はコメントを受け付けていません

Proactive Privacy Amnesia for Large Language Models: Safeguarding PII with Negligible Impact on Model Utility

投稿日: 2025年3月12日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の台頭により、研究の増加により、悪意のある攻撃の下で個人を特定できる情報（PII）を漏らすリスクが認識されています。
LLMSでPIIを保護するための努力がなされていますが、既存の方法は、プライバシー保護とモデルの有用性の維持のバランスをとるのに苦労しています。
この論文では、認知科学における健忘の研究に触発されたこの論文では、有用性を維持しながらLLMSのPIIを保護するために、新しいアプローチである積極的なプライバシー健忘症（PPA）を提案しています。
このメカニズムは、PIIに最も密接に関連する重要な記憶を順調に特定して忘れて、LLMの機能を維持するために適切な代替メモリを使用して埋め込むメモリが続きます。
一般的なPIIターゲット攻撃に対して、電話番号や物理的な住所などの一般的なPIIを保護するために、複数のモデルで評価を実施し、他の既存の防御技術と比較して、方法の優位性を実証します。
結果は、私たちのPPA法が電話番号への暴露のリスクを100％完全に排除し、物理的な住所暴露のリスクを9.8％から87.6％削減することを示しています。

要約(オリジナル)

With the rise of large language models (LLMs), increasing research has recognized their risk of leaking personally identifiable information (PII) under malicious attacks. Although efforts have been made to protect PII in LLMs, existing methods struggle to balance privacy protection with maintaining model utility. In this paper, inspired by studies of amnesia in cognitive science, we propose a novel approach, Proactive Privacy Amnesia (PPA), to safeguard PII in LLMs while preserving their utility. This mechanism works by actively identifying and forgetting key memories most closely associated with PII in sequences, followed by a memory implanting using suitable substitute memories to maintain the LLM’s functionality. We conduct evaluations across multiple models to protect common PII, such as phone numbers and physical addresses, against prevalent PII-targeted attacks, demonstrating the superiority of our method compared with other existing defensive techniques. The results show that our PPA method completely eliminates the risk of phone number exposure by 100% and significantly reduces the risk of physical address exposure by 9.8% – 87.6%, all while maintaining comparable model utility performance.

arxiv情報

著者 Martin Kuo,Jingyang Zhang,Jianyi Zhang,Minxue Tang,Louis DiValentin,Aolin Ding,Jingwei Sun,William Chen,Amin Hass,Tianlong Chen,Yiran Chen,Hai Li
発行日 2025-03-11 17:32:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Proactive Privacy Amnesia for Large Language Models: Safeguarding PII with Negligible Impact on Model Utility はコメントを受け付けていません