Fast and Low-Cost Genomic Foundation Models via Outlier Removal

要約

GENMIC Foundationモデル（GFMS）の最初の統一された敵対攻撃ベンチマークを提案します。
既存のGFMベンチマークとは異なり、Germは、GFMの脆弱性を敵対的攻撃に対する脆弱性を体系的に評価するための最初の包括的な評価フレームワークを提供します。
方法論的には、4つの広く採用された攻撃アルゴリズムと3つの防衛戦略を使用して、5つの最先端のGFMの敵対的堅牢性を評価します。
重要なことに、当社のベンチマークは、モデルアーキテクチャ、量子化スキーム、トレーニングデータセットに関してGFMの脆弱性を分析するためのアクセス可能で包括的なフレームワークを提供します。
経験的に、変圧器ベースのモデルは、ハイナドナと比較して敵対的な摂動に対してより大きな堅牢性を示し、脆弱性に対する建築設計の影響を強調しています。
さらに、敵対的な攻撃は、生物学的に有意なゲノム領域を頻繁に標的にし、これらのモデルが有意義なシーケンス機能を効果的にキャプチャすることを示唆しています。

要約(オリジナル)

We propose the first unified adversarial attack benchmark for Genomic Foundation Models (GFMs), named GERM. Unlike existing GFM benchmarks, GERM offers the first comprehensive evaluation framework to systematically assess the vulnerability of GFMs to adversarial attacks. Methodologically, we evaluate the adversarial robustness of five state-of-the-art GFMs using four widely adopted attack algorithms and three defense strategies. Importantly, our benchmark provides an accessible and comprehensive framework to analyze GFM vulnerabilities with respect to model architecture, quantization schemes, and training datasets. Empirically, transformer-based models exhibit greater robustness to adversarial perturbations compared to HyenaDNA, highlighting the impact of architectural design on vulnerability. Moreover, adversarial attacks frequently target biologically significant genomic regions, suggesting that these models effectively capture meaningful sequence features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google