Application of Structured State Space Models to High energy physics with locality-sensitive hashing

要約

最新の高エネルギー物理学（HEP）実験は、特に大規模なポイントクラウド処理と長いシーケンスに関して、データセットの広大なサイズと複雑さによってますます挑戦されています。
この研究では、これらの課題に対処するために、構造化された状態空間モデル（SSM）の適用を調査し、局所敏感なハッシュをハイブリッドまたは純粋なマンバモデルに統合する最初の試験の1つを提案します。
我々の結果は、純粋なSSMが、局所誘導バイアスを備えた長いシーケンスデータのタスクを含むHEP問題の強力なバックボーンとして役立つことを示しています。
地域に敏感なハッシュをMambaブロックに統合することにより、主要なHEPタスクの従来のバックボーンよりも大幅な改善を達成し、計算オーバーヘッドを削減しながら、推論速度と物理メトリックを上回ります。
主要なテストでは、私たちのアプローチは有望な結果を実証し、堅牢なパフォーマンスを維持しながらフロップを大幅に削減することにより、従来のトランスバックボーンの実行可能な代替品を提示しました。

要約(オリジナル)

Modern high-energy physics (HEP) experiments are increasingly challenged by the vast size and complexity of their datasets, particularly regarding large-scale point cloud processing and long sequences. In this study, to address these challenges, we explore the application of structured state space models (SSMs), proposing one of the first trials to integrate local-sensitive hashing into either a hybrid or pure Mamba Model. Our results demonstrate that pure SSMs could serve as powerful backbones for HEP problems involving tasks for long sequence data with local inductive bias. By integrating locality-sensitive hashing into Mamba blocks, we achieve significant improvements over traditional backbones in key HEP tasks, surpassing them in inference speed and physics metrics while reducing computational overhead. In key tests, our approach demonstrated promising results, presenting a viable alternative to traditional transformer backbones by significantly reducing FLOPS while maintaining robust performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google