AdvBDGen: Adversarially Fortified Prompt-Specific Fuzzy Backdoor Generator Against LLM Alignment

要約

大規模な言語モデル（LLMS）を調整するための人間のフィードバック（RLHF）による強化学習の採用の拡大により、アライメント中のバックドアインストールのリスクが高まり、意図しない有害行動につながりました。
既存のバックドアトリガーは通常、固定ワードパターンに限定されているため、データのクリーニング中に検出可能になり、ポストポストポストの取り外しが簡単になります。
この作業では、バックドアトリガーとしての迅速な特異的な言い換えの使用を調査し、LLMアライメント中の除去に対するステルスと耐性を高めます。
AdvBDGenを提案します。AdvBDGenは、モデル間で効果的でステルス性があり、移転可能な迅速な固有のバックドアを自動的に生成する敵対的に強化された生成的微調整フレームワークを提案します。
Advbdgenは、バックドアの設置性とステルス性を確保するために、敵によって強化された発電機ディスクリミネーターペアを採用しています。
これにより、微調整データのわずか3％を使用して、複雑なトリガーを作成して成功させることができます。
これらの背景が設置されると、推論中にLLMを脱獄することができ、従来の一定のトリガーと比較して摂動に対する安定性が改善され、除去がより困難です。
これらの調査結果は、LLMの整合における敵対的な裏口の脅威に対するより堅牢な防御を開発するために、研究コミュニティが緊急の必要性を強調しています。

要約(オリジナル)

With the growing adoption of reinforcement learning with human feedback (RLHF) for aligning large language models (LLMs), the risk of backdoor installation during alignment has increased, leading to unintended and harmful behaviors. Existing backdoor triggers are typically limited to fixed word patterns, making them detectable during data cleaning and easily removable post-poisoning. In this work, we explore the use of prompt-specific paraphrases as backdoor triggers, enhancing their stealth and resistance to removal during LLM alignment. We propose AdvBDGen, an adversarially fortified generative fine-tuning framework that automatically generates prompt-specific backdoors that are effective, stealthy, and transferable across models. AdvBDGen employs a generator-discriminator pair, fortified by an adversary, to ensure the installability and stealthiness of backdoors. It enables the crafting and successful installation of complex triggers using as little as 3% of the fine-tuning data. Once installed, these backdoors can jailbreak LLMs during inference, demonstrate improved stability against perturbations compared to traditional constant triggers, and are more challenging to remove. These findings underscore an urgent need for the research community to develop more robust defenses against adversarial backdoor threats in LLM alignment.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google