Towards Foundation Models for Experimental Readout Systems Combining Discrete and Continuous Data

要約

将来の電子イオンコリダーでチェレンコフ検出器のイメージングからの低レベルの検出器入力を操作できる核物理学のための（プロト）基礎モデルを提示します。
既存の次のトークン予測の制限に対処するために、つまりVQ-VAEトークン化からの解像度損失と条件付き生成の欠如は、3つの重要なイノベーションを提案します。
共同語彙の膨張なしの高解像度の連続バリエートトークン化。
私たちのモデルは、高性能DIRCの閉鎖テストを通じて検証された、チェレンコフ光子のピクセルと時間シーケンスの高速で高忠実度の生成を可能にします。
また、モデルがパイオンやカオンの識別などの再構築タスクに一般化され、微調整を活用する能力を示しています。

要約(オリジナル)

We present a (proto) Foundation Model for Nuclear Physics, capable of operating on low-level detector inputs from Imaging Cherenkov Detectors at the future Electron Ion Collider. To address limitations in existing next-token prediction approaches-namely resolution loss from VQ-VAE tokenization and lack of conditional generation-we propose three key innovations: (i) separate vocabularies for discrete spatial features and continuous variates, combined via Causal Multi-Head Cross-Attention (CMHCA), (ii) continuous kinematic conditioning through prepended context embeddings, and (iii) scalable and simple, high-resolution continuous variate tokenization without joint vocabulary inflation. Our model enables fast, high-fidelity generation of pixel and time sequences for Cherenkov photons, validated through closure tests in the High Performance DIRC. We also show our model generalizes to reconstruction tasks such as pion and kaon identification, in which we show its ability to leverage fine-tuning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google