Fast and Low-Cost Genomic Foundation Models via Outlier Removal

要約

ゲノムモデリングにおける乏しい計算資源という課題に対処するため、我々は強力な圧縮性能と高速な適応性を持つゲノム基礎モデルGERMを紹介する。GERMはDNABERT-2のようなモデルを改良し、低ランク適応と学習後の量子化の妨げとなる外れ値を排除することで、効率性と頑健性の両方を高めている。我々はバニラアテンションレイヤーを連想記憶モデルにインスパイアされた外れ値のないメカニズムに置き換える。事前学習と微調整の両方で外れ値を除去することで、このアプローチは適応を加速し、計算コストを削減し、許容可能な損失マージンの範囲内で量子化の頑健性を向上させる。さらに、我々はGERM-Tを提案する。GERM-Tは外れ値のないフレームワークの中でスモールステップの継続的学習を採用する戦略であり、ゼロからの再学習を避けるためにオリジナルのチェックポイントを活用する。経験的に、GERMはベースラインモデルと比較して、微調整性能を37.98%向上させ、量子化性能を64.34%向上させる。また平均尖度を92.14%、最大無限大ノルムを82.77%削減する。主要な手法と比較して、GERMは一貫して優れた性能を発揮し、リソースに制約のある環境におけるゲノムモデリングの実用的なソリューションを提供する。コードはhttps://github.com/MAGICS-LAB/GERM。

要約(オリジナル)

To address the challenge of scarce computational resources in genomic modeling, we introduce GERM, a genomic foundation model with strong compression performance and fast adaptability. GERM improves upon models like DNABERT-2 by eliminating outliers that hinder low-rank adaptation and post-training quantization, enhancing both efficiency and robustness. We replace the vanilla attention layer with an outlier-free mechanism inspired by associative memory models. By removing outliers during both pre-training and fine-tuning, this approach accelerates adaptation, reduces computational costs, and enhances quantization robustness within acceptable loss margins. Additionally, we propose GERM-T, a strategy that employs small-step continual learning within the outlier-free framework, leveraging original checkpoints to avoid retraining from scratch. Empirically, GERM improves fine-tuning performance by 37.98% and quantization by 64.34% over the baseline model. It also reduces average kurtosis by 92.14% and maximum infinity norm by 82.77%. Compared to leading methods, GERM consistently delivers superior performance, offering a practical solution for genomic modeling in resource-constrained settings. Code is available at https://github.com/MAGICS-LAB/GERM.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL