HIGHT: Hierarchical Graph Tokenization for Molecule-Language Alignment

投稿日: 2025年6月9日 作成者: jarxiv

要約

最近、テキストから分子に大規模な言語モデル（LLM）の成功を拡大することに関心が高まっています。
ほとんどの既存のアプローチでは、グラフニューラルネットワークを採用して、分子と言語のアライメントの一連のノードトークンとして分子を表していますが、分子の固有の階層構造を見落としています。
特に、高次分子構造には、分子の重要な生化学機能性をコードする官能基の豊富なセマンティクスが含まれています。
トークン化における階層情報を無視すると、分子と言語の並列と重度の幻覚がつながることを示します。
この制限に対処するために、階層グラフトークン化（HIGHT）を提案します。
Hightは、LLMSの分子知覚を改善するために、原子、モチーフ、および分子レベルの有益なトークンの階層をコードする階層グラフトークネイザーを採用しています。
Hightはまた、分子言語のアライメントをさらに強化するために、階層的なグラフ情報が濃縮された拡張命令チューニングデータセットを採用しています。
14の実世界のベンチマークでの広範な実験では、幻覚を40％減らす際のハイトの有効性、およびさまざまな分子言語の下流タスクの大幅な改善が検証されています。
このプロジェクトは、https：//higraphllm.github.io/で入手できます。

要約(オリジナル)

Recently, there has been a surge of interest in extending the success of large language models (LLMs) from texts to molecules. Most existing approaches adopt a graph neural network to represent a molecule as a series of node tokens for molecule-language alignment, which, however, have overlooked the inherent hierarchical structures in molecules. Notably, higher-order molecular structures contain rich semantics of functional groups, which encode crucial biochemical functionalities of the molecules. We show that neglecting the hierarchical information in tokenization will lead to subpar molecule-language alignment and severe hallucination. To address this limitation, we propose HIerarchical GrapH Tokenization (HIGHT). HIGHT employs a hierarchical graph tokenizer that encodes the hierarchy of atom, motif, and molecular levels of informative tokens to improve the molecular perception of LLMs. HIGHT also adopts an augmented instruction tuning dataset, enriched with the hierarchical graph information, to further enhance the molecule-language alignment. Extensive experiments on 14 real-world benchmarks verify the effectiveness of HIGHT in reducing hallucination by 40%, and significant improvements in various molecule-language downstream tasks. The project is available at https: //higraphllm.github.io/.

arxiv情報

著者 Yongqiang Chen,Quanming Yao,Juzheng Zhang,James Cheng,Yatao Bian
発行日 2025-06-06 13:09:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG, q-bio.QM | HIGHT: Hierarchical Graph Tokenization for Molecule-Language Alignment はコメントを受け付けていません

Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning

投稿日: 2025年6月9日 作成者: jarxiv

要約

大規模な言語モデル（LLM）を検出することは、セキュリティ、知的財産、および学問の完全性に影響を与える課題が高まっています。
コードとそれを生成した対応するタスクプロンプトの両方を考慮する際に、ゼロショットLLM生成コード検出の改善における条件付き確率分布の役割を調査します。
私たちの重要な洞察は、LLMを使用してコードトークンの確率分布を評価する場合、LLMが作成したコードと人間が作成したコードの間にほとんど違いがないということです。
ただし、タスクの条件付けにより、顕著な違いが明らかになります。
これは、無条件の分布にも違いが存在する自然言語のテキストとは対照的です。
これを活用して、特定のコードスニペットを生成するために使用された元のタスクに近似し、近似タスクコンディショニング（ATC）の下でトークンレベルのエントロピーを評価する新しいゼロショット検出アプローチを提案します。
さらに、数学的な直観を提供し、以前のアプローチに対する方法をコンテキスト化します。
ATCは、ジェネレーターLLMへのアクセスも元のタスクプロンプトも必要としないため、実際のアプリケーションに実用的です。
私たちの知る限り、それはベンチマーク全体で最新の結果を達成し、Python、CPP、Javaなどのプログラミング言語全体で一般化します。
私たちの調査結果は、LLM生成コード検出のタスクレベルの条件付けの重要性を強調しています。
補足資料とコードは、この分野でのさらなる調査を促進するために、データセット収集の実装を含むhttps://github.com/maorash/atcで入手できます。

要約(オリジナル)

Detecting Large Language Model (LLM)-generated code is a growing challenge with implications for security, intellectual property, and academic integrity. We investigate the role of conditional probability distributions in improving zero-shot LLM-generated code detection, when considering both the code and the corresponding task prompt that generated it. Our key insight is that when evaluating the probability distribution of code tokens using an LLM, there is little difference between LLM-generated and human-written code. However, conditioning on the task reveals notable differences. This contrasts with natural language text, where differences exist even in the unconditional distributions. Leveraging this, we propose a novel zero-shot detection approach that approximates the original task used to generate a given code snippet and then evaluates token-level entropy under the approximated task conditioning (ATC). We further provide a mathematical intuition, contextualizing our method relative to previous approaches. ATC requires neither access to the generator LLM nor the original task prompts, making it practical for real-world applications. To the best of our knowledge, it achieves state-of-the-art results across benchmarks and generalizes across programming languages, including Python, CPP, and Java. Our findings highlight the importance of task-level conditioning for LLM-generated code detection. The supplementary materials and code are available at https://github.com/maorash/ATC, including the dataset gathering implementation, to foster further research in this area.

arxiv情報

著者 Maor Ashkenazi,Ofir Brenner,Tal Furman Shohet,Eran Treister
発行日 2025-06-06 13:23:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Zero-Shot Detection of LLM-Generated Code via Approximated Task Conditioning はコメントを受け付けていません

CO-VADA: A Confidence-Oriented Voice Augmentation Debiasing Approach for Fair Speech Emotion Recognition

投稿日: 2025年6月9日 作成者: jarxiv

要約

音声感情認識（SER）システムのバイアスは、多くの場合、スピーカーの特性と感情的なラベルとの間の偽の相関に起因し、人口統計グループ全体で不公平な予測につながります。
多くの既存の債務手法には、モデル固有の変更または人口統計的注釈が必要であり、実用的な使用が制限されています。
モデルアーキテクチャを変更したり、人口統計情報に依存したりせずにバイアスを軽減する自信指向の音声増強アプローチであるCo-Vadaを提示します。
Co-Vadaは、トレーニングデータに存在するバイアスパターンを反映したトレーニングサンプルを識別し、音声変換を適用して無関係な属性を変更し、サンプルを生成します。
これらの増強されたサンプルは、データの支配的なパターンとは異なるスピーカーのバリエーションを導入し、モデルを導き、感情に関連する機能にもっと焦点を合わせます。
私たちのフレームワークは、さまざまなSERモデルと音声変換ツールと互換性があり、SERシステムの公平性を改善するためのスケーラブルで実用的なソリューションとなっています。

要約(オリジナル)

Bias in speech emotion recognition (SER) systems often stems from spurious correlations between speaker characteristics and emotional labels, leading to unfair predictions across demographic groups. Many existing debiasing methods require model-specific changes or demographic annotations, limiting their practical use. We present CO-VADA, a Confidence-Oriented Voice Augmentation Debiasing Approach that mitigates bias without modifying model architecture or relying on demographic information. CO-VADA identifies training samples that reflect bias patterns present in the training data and then applies voice conversion to alter irrelevant attributes and generate samples. These augmented samples introduce speaker variations that differ from dominant patterns in the data, guiding the model to focus more on emotion-relevant features. Our framework is compatible with various SER models and voice conversion tools, making it a scalable and practical solution for improving fairness in SER systems.

arxiv情報

著者 Yun-Shao Tsai,Yi-Cheng Lin,Huang-Cheng Chou,Hung-yi Lee
発行日 2025-06-06 13:25:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, eess.AS | CO-VADA: A Confidence-Oriented Voice Augmentation Debiasing Approach for Fair Speech Emotion Recognition はコメントを受け付けていません

GraphCheck: Multi-Path Fact-Checking with Entity-Relationship Graphs

投稿日: 2025年6月9日 作成者: jarxiv

要約

自動化されたファクトチェックは、関連する証拠に基づいてテキストの主張の真実性を評価することを目的としています。
ただし、マルチホップの推論を必要とする複雑なクレームを検証することは、依然として重要な課題です。
GraphCheckを提案します。GraphCheckは、クレームを構造化された体系的な検証のためにエンティティ関連グラフに変換する新しいフレームワークです。
明示的なエンティティと潜在エンティティの両方を明示的にモデル化し、複数の推論パスを探索することにより、GraphCheckは検証の堅牢性を向上させます。
GraphCheckは複雑なシナリオに優れていますが、より単純な主張については不必要に精巧になる可能性があります。
これに対処するために、ダイレクトプロンプトとGraphCheckを適応的に選択するために軽量戦略セレクターを使用するバリアントであるDP-Graphcheckを紹介します。
この選択的メカニズムは、各クレームに適切なレベルの推論を適用することにより、精度と効率の両方を改善します。
ホバーデータセットと元フェバーデータセットでの実験は、特にマルチホップのクレームで、既存の方法よりも優れていることを示しています。
さらに、DP-Graphcheckの戦略選択メカニズムは、他の事実確認パイプラインによく一般的になり、フレームワークの汎用性を強調しています。

要約(オリジナル)

Automated fact-checking aims to assess the truthfulness of textual claims based on relevant evidence. However, verifying complex claims that require multi-hop reasoning remains a significant challenge. We propose GraphCheck, a novel framework that transforms claims into entity-relationship graphs for structured and systematic verification. By explicitly modeling both explicit and latent entities and exploring multiple reasoning paths, GraphCheck improves verification robustness. While GraphCheck excels in complex scenarios, it may be unnecessarily elaborate for simpler claims. To address this, we introduce DP-GraphCheck, a variant that employs a lightweight strategy selector to adaptively choose between direct prompting and GraphCheck. This selective mechanism improves both accuracy and efficiency by applying the appropriate level of reasoning to each claim. Experiments on the HOVER and EX-FEVER datasets demonstrate that our approach outperforms existing methods, particularly on multi-hop claims. Moreover, the strategy selection mechanism in DP-GraphCheck generalizes well to other fact-checking pipelines, highlighting the versatility of our framework.

arxiv情報

著者 Hyewon Jeon,Jay-Yoon Lee
発行日 2025-06-06 13:48:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | GraphCheck: Multi-Path Fact-Checking with Entity-Relationship Graphs はコメントを受け付けていません

MIRIAD: Augmenting LLMs with millions of medical query-response pairs

投稿日: 2025年6月9日 作成者: jarxiv

要約

LLMは、高度な意思決定サポートと柔軟なチャットアシスタントでヘルスケアを変革することになります。
ただし、LLMは不正確な医療含有量を生成する傾向があります。
高品質の医療知識においてLLMSを接地するために、LLMSはRAGを介して外部知識を備えています。ここでは、非構造化された医療知識が選択的に取得され、LLMSコンテキストに統合される小さなテキストチャンクに分割されます。
しかし、既存のRAGパイプラインは、LLMSが効果的に活用するのが騒々しく、未確認で困難な生の非構造化された医療テキストに依存しています。
LLMに最適に表面化するために医学的知識を整理するための体系的なアプローチは、一般的に不足しています。
これらの課題に対処するために、5,821,948の医療QAペアの大規模でキュレーションされたコーパスであるMiriadを紹介します。それぞれが、LLM生成、フィルタリング、接地、および人間の発生を組み合わせた半自動パイプラインを使用して、ピアレビューされた医学文献からの通路から言い換えられ、その通路に基づいています。
構造化されていないテキストに依存している以前の医療コーポラとは異なり、Miriadは、よりターゲットを絞った検索を可能にする運用上のクエリ応答形式でWebスケールの医療知識をカプセル化します。
挑戦的な医療QAベンチマークの実験は、MiriadでLLMを増強すると、同じソースコーパスと同じ量の検索テキストを持つ非構造化されたRAGベースラインと比較して、精度が最大6.7％向上することが示されています。
さらに、Miriadは、LLMSが医療幻覚を22.5〜37％検出する能力を改善しました（F1スコアの増加）。
さらに、56の医学分野にまたがるMiriadのインタラクティブな地図であるMiriad-Atlasを紹介し、臨床ユーザーが医学的知識を視覚的に探索、検索、および改良できるようにします。
Miriadは、医療情報レトリバー、強化されたRAGアプリケーション、知識根拠のあるチャットインターフェイスなど、豊富なダウンストリームアプリケーションのロックを解除することを約束します。

要約(オリジナル)

LLMs are bound to transform healthcare with advanced decision support and flexible chat assistants. However, LLMs are prone to generate inaccurate medical content. To ground LLMs in high-quality medical knowledge, LLMs have been equipped with external knowledge via RAG, where unstructured medical knowledge is split into small text chunks that can be selectively retrieved and integrated into the LLMs context. Yet, existing RAG pipelines rely on raw, unstructured medical text, which can be noisy, uncurated and difficult for LLMs to effectively leverage. Systematic approaches to organize medical knowledge to best surface it to LLMs are generally lacking. To address these challenges, we introduce MIRIAD, a large-scale, curated corpus of 5,821,948 medical QA pairs, each rephrased from and grounded in a passage from peer-reviewed medical literature using a semi-automated pipeline combining LLM generation, filtering, grounding, and human annotation. Unlike prior medical corpora, which rely on unstructured text, MIRIAD encapsulates web-scale medical knowledge in an operationalized query-response format, which enables more targeted retrieval. Experiments on challenging medical QA benchmarks show that augmenting LLMs with MIRIAD improves accuracy up to 6.7% compared to unstructured RAG baselines with the same source corpus and with the same amount of retrieved text. Moreover, MIRIAD improved the ability of LLMs to detect medical hallucinations by 22.5 to 37% (increase in F1 score). We further introduce MIRIAD-Atlas, an interactive map of MIRIAD spanning 56 medical disciplines, enabling clinical users to visually explore, search, and refine medical knowledge. MIRIAD promises to unlock a wealth of down-stream applications, including medical information retrievers, enhanced RAG applications, and knowledge-grounded chat interfaces, which ultimately enables more reliable LLM applications in healthcare.

arxiv情報

著者 Qinyue Zheng,Salman Abdullah,Sam Rawal,Cyril Zakka,Sophie Ostmeier,Maximilian Purk,Eduardo Reis,Eric J. Topol,Jure Leskovec,Michael Moor
発行日 2025-06-06 13:52:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, I.2.7 | MIRIAD: Augmenting LLMs with millions of medical query-response pairs はコメントを受け付けていません

Reinforcing Code Generation: Improving Text-to-SQL with Execution-Based Learning

投稿日: 2025年6月9日 作成者: jarxiv

要約

この作業では、自然言語の質問からSQLクエリの生成に重点を置いて、コード生成の問題を大規模な言語モデル（LLM）で研究します。
私たちは尋ねます：テキストコードペアで監視された微調整を使用する代わりに、データベースエンジンと対話することでモデルを調整できますか？
この問題は、モデルがスカラー報酬の形で環境から実行ベースのフィードバックを受信する強化学習問題としてフレーム化します。
これらの報酬は、実行障害を罰し、クエリが正解を返すときに正の値を割り当てます。
グループ相対ポリシー最適化（GRPO）フレームワーク内の報酬を使用します。
調査結果をテストおよび評価するために、表形式の推論ベンチマークを使用します。
質問を回答したペアの形での監督のみが弱いため、RLチューニングはモデル生成されたSQLコードの精度を31.49から49.83に改善し、誤差率を25.43％から14.71％に削減することがわかります。
この改善により、モデルはパフォーマンスのパフォーマンスをより大きなSQLCoder-70Bモデルにほぼ一致させることができました。
私たちの仕事は、実行ベースのフィードバックを使用してLLMの象徴的な推論能力を改善する可能性を示しています。

要約(オリジナル)

In this work, we study the problem of code generation with a large language model (LLM), with a focus on generating SQL queries from natural language questions. We ask: Instead of using supervised fine tuning with text-code pairs, can we tune a model by having it interact with a database engine? We frame this problem as a reinforcement learning problem where the model receives execution-based feedback from the environment in the form of scalar rewards. These rewards penalize execution failures and assign positive values when a query returns a correct answer. We use the rewards within the Group Relative Policy Optimization (GRPO) framework. We use a tabular reasoning benchmark to test and evaluate our findings. We find that with only weak supervision in the form of question-answer pairs, RL-tuning improves the accuracy of model generated SQL code from 31.49 to 49.83 while reducing error percentage from 25.43% to 14.71%. This improvement allowed the model nearly match the performance performance to the larger SQLCoder-70B model. Our work demonstrates the potential of using execution-based feedback to improve symbolic reasoning capabilities of LLMs.

arxiv情報

著者 Atharv Kulkarni,Vivek Srikumar
発行日 2025-06-06 13:52:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Reinforcing Code Generation: Improving Text-to-SQL with Execution-Based Learning はコメントを受け付けていません

Label-Context-Dependent Internal Language Model Estimation for CTC

投稿日: 2025年6月9日 作成者: jarxiv

要約

コネクショニストの時間分類（CTC）には、ラベルコンテキストの独立性の仮定がありますが、現代の強力なエンコーダーにより、コンテキスト依存の内部言語モデル（ILM）を暗黙的に学習することができます。
この作業では、CTCのILMでモデル化された暗黙のコンテキスト依存関係を調査します。
この目的のために、理論的正当性を備えた知識蒸留（KD）に基づいて、CTCの新しいコンテキスト依存性ILM推定方法を提案します。
さらに、KDに2つの正規化方法を紹介します。
それぞれ領土内およびドメイン内評価のために、それぞれLibrispeechおよびTed-Lium Release 2データセットで実験を行います。
実験結果は、コンテキスト依存のILMがクロスドメイン評価でコンテキストに依存しないプライアーを上回ることを示しており、CTCがコンテキスト依存ILMを学習することを示しています。
スムージング方法を備えた提案されたラベルレベルKDは、他のILM推定アプローチを超えており、浅い融合と比較してワードエラー率が13％以上改善されています。

要約(オリジナル)

Although connectionist temporal classification (CTC) has the label context independence assumption, it can still implicitly learn a context-dependent internal language model (ILM) due to modern powerful encoders. In this work, we investigate the implicit context dependency modeled in the ILM of CTC. To this end, we propose novel context-dependent ILM estimation methods for CTC based on knowledge distillation (KD) with theoretical justifications. Furthermore, we introduce two regularization methods for KD. We conduct experiments on Librispeech and TED-LIUM Release 2 datasets for in-domain and cross-domain evaluation, respectively. Experimental results show that context-dependent ILMs outperform the context-independent priors in cross-domain evaluation, indicating that CTC learns a context-dependent ILM. The proposed label-level KD with smoothing method surpasses other ILM estimation approaches, with more than 13% relative improvement in word error rate compared to shallow fusion.

arxiv情報

著者 Zijian Yang,Minh-Nghia Phan,Ralf Schlüter,Hermann Ney
発行日 2025-06-06 13:54:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG, cs.SD, eess.AS | Label-Context-Dependent Internal Language Model Estimation for CTC はコメントを受け付けていません

Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model

投稿日: 2025年6月9日 作成者: jarxiv

要約

話し言葉の対話は、人間のコンピューターの相互作用の直感的な形式ですが、現在の音声言語モデルは、ユーザーバージインなどのリアルタイムの適応性が欠けているターンベースの交換に制約を維持することがよくあります。
継続的なユーザー入力とコーデックエージェント出力を特徴とする新しい二重音声（S2S）アーキテクチャを提案します。
ユーザー入力に前処理されたストリーミングエンコーダーを使用すると、音声前後を必要とせずに最初の二重S2Sモデルが可能になります。
エージェントとユーザーモデリング用の個別のアーキテクチャは、より良いエージェントの声のためにコーデックの微調整を促進し、以前の作品と比較してビットレート（0.6 kbps）を半分にします。
実験結果は、提案されたモデルが推論、ターンテイク、バージイン能力において以前の二重モデルよりも優れていることを示しています。
このモデルは、音声プレインがスキップされるため、音声データが大幅に少なくなり、LLMSからデュプレックスS2Sモデルを構築するプロセスが著しく単純化されます。
最後に、再現性を促進するためのトレーニングと推論コードを備えた最初の公然と利用可能なデュプレックスS2Sモデルです。

要約(オリジナル)

Spoken dialogue is an intuitive form of human-computer interaction, yet current speech language models often remain constrained to turn-based exchanges, lacking real-time adaptability such as user barge-in. We propose a novel duplex speech to speech (S2S) architecture featuring continuous user inputs and codec agent outputs with channel fusion that directly models simultaneous user and agent streams. Using a pretrained streaming encoder for user input enables the first duplex S2S model without requiring speech pretrain. Separate architectures for agent and user modeling facilitate codec fine-tuning for better agent voices and halve the bitrate (0.6 kbps) compared to previous works. Experimental results show that the proposed model outperforms previous duplex models in reasoning, turn-taking, and barge-in abilities. The model requires significantly less speech data, as speech pretrain is skipped, which markedly simplifies the process of building a duplex S2S model from any LLMs. Finally, it is the first openly available duplex S2S model with training and inference code to foster reproducibility.

arxiv情報

著者 Ke Hu,Ehsan Hosseini-Asl,Chen Chen,Edresson Casanova,Subhankar Ghosh,Piotr Żelasko,Zhehuai Chen,Jason Li,Jagadeesh Balam,Boris Ginsburg
発行日 2025-06-06 13:56:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.SD, eess.AS | Efficient and Direct Duplex Modeling for Speech-to-Speech Language Model はコメントを受け付けていません

The Canary’s Echo: Auditing Privacy Risks of LLM-Generated Synthetic Text

投稿日: 2025年6月9日 作成者: jarxiv

要約

トレーニングサンプルに関する情報は、大規模な言語モデル（LLMS）によって生成された合成データを通じて漏洩する可能性がありますか？
合成データ生成パイプラインにおける情報の流れの微妙さを見下ろすと、プライバシーの誤った感覚が生じる可能性があります。
この論文では、敵がLLMによって生成されたいくつかの合成データにアクセスできると仮定します。
LLMを微調整するために使用されるトレーニングデータをターゲットにするメンバーシップ推論攻撃（MIA）を設計し、データの合成に使用します。
私たちのMIAの大幅なパフォーマンスは、合成データがトレーニングデータに関する情報を漏らしていることを示しています。
さらに、合成データのみがリリースされている場合、モデルベースのMIAのために作成されたカナリアは、プライバシー監査に最適ではないことがわかります。
このような分散カナリアは、有用で分配する合成データを生成するように促された場合、モデルの出力に限られた影響を及ぼし、それらの有効性を大幅に低下させます。
この問題に取り組むために、自動回帰モデルのメカニズムを活用して、分散内のプレフィックスと合成データの検出可能なトレースを残す高プレイティの接尾辞でカナリアを設計します。
これにより、データベースのMIAの力が向上し、LLMSによって生成された合成データをリリースするプライバシーリスクのより良い評価を提供します。

要約(オリジナル)

How much information about training samples can be leaked through synthetic data generated by Large Language Models (LLMs)? Overlooking the subtleties of information flow in synthetic data generation pipelines can lead to a false sense of privacy. In this paper, we assume an adversary has access to some synthetic data generated by a LLM. We design membership inference attacks (MIAs) that target the training data used to fine-tune the LLM that is then used to synthesize data. The significant performance of our MIA shows that synthetic data leak information about the training data. Further, we find that canaries crafted for model-based MIAs are sub-optimal for privacy auditing when only synthetic data is released. Such out-of-distribution canaries have limited influence on the model’s output when prompted to generate useful, in-distribution synthetic data, which drastically reduces their effectiveness. To tackle this problem, we leverage the mechanics of auto-regressive models to design canaries with an in-distribution prefix and a high-perplexity suffix that leave detectable traces in synthetic data. This enhances the power of data-based MIAs and provides a better assessment of the privacy risks of releasing synthetic data generated by LLMs.

arxiv情報

著者 Matthieu Meeus,Lukas Wutschitz,Santiago Zanella-Béguelin,Shruti Tople,Reza Shokri
発行日 2025-06-06 14:04:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CR, cs.LG | The Canary’s Echo: Auditing Privacy Risks of LLM-Generated Synthetic Text はコメントを受け付けていません

Opt-Out: Investigating Entity-Level Unlearning for Large Language Models via Optimal Transport

投稿日: 2025年6月9日 作成者: jarxiv

要約

CHATGPTなどの指導に従う大規模な言語モデル（LLM）は、日常のユーザーの間で広く人気があります。
ただし、これらのモデルは、ユーザーにプライベートな機密情報を不注意に開示し、モデルから選択的な情報を削除するためのマシンの学習技術の必要性を強調しています。
以前の作業は、インスタンスレベルでトレーニングデータの小さなランダムなサブセットを忘れることに焦点を当てていますが、実際のシナリオはユーザーデータ全体を削除する必要があることがよくあると主張します。
この研究では、残りのモデル機能を維持しながら、ターゲットエンティティに関連するすべての知識を消去することを目的としたエンティティレベルの未学習を調査します。
これに対処するために、モデルの初期パラメーターからワッサースタインの距離を利用して、より効果的で微調整された学習を実現する最適なトランスポートベースの未学習方法であるオプトアウトを紹介します。
また、エンティティレベルの未学習を評価するために設計された最初のエンティティレベルの未学習データセット（Evelude）を提示します。
私たちの経験的結果は、オプトアウトが既存の方法を上回り、完全な再試行を必要とせずにユーザーデータ削除要求に対応できる安全で適応可能なLLMの新しい基準を確立することを示しています。

要約(オリジナル)

Instruction-following large language models (LLMs), such as ChatGPT, have become widely popular among everyday users. However, these models inadvertently disclose private, sensitive information to their users, underscoring the need for machine unlearning techniques to remove selective information from the models. While prior work has focused on forgetting small, random subsets of training data at the instance-level, we argue that real-world scenarios often require the removal of an entire user data, which may require a more careful maneuver. In this study, we explore entity-level unlearning, which aims to erase all knowledge related to a target entity while preserving the remaining model capabilities. To address this, we introduce Opt-Out, an optimal transport-based unlearning method that utilizes the Wasserstein distance from the model’s initial parameters to achieve more effective and fine-grained unlearning. We also present the first Entity-Level Unlearning Dataset (ELUDe) designed to evaluate entity-level unlearning. Our empirical results demonstrate that Opt-Out surpasses existing methods, establishing a new standard for secure and adaptable LLMs that can accommodate user data removal requests without the need for full retraining.

arxiv情報

著者 Minseok Choi,Daniel Rim,Dohyun Lee,Jaegul Choo
発行日 2025-06-06 14:08:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Opt-Out: Investigating Entity-Level Unlearning for Large Language Models via Optimal Transport はコメントを受け付けていません