Is Tokenization Needed for Masked Particle Modelling?

要約

この研究では、高エネルギー物理学の基礎モデルの開発に関連する非順序集合の高度に表現力豊かな表現を構築するための自己教師あり学習スキームであるマスク粒子モデリング (MPM) を大幅に強化します。
MPM では、セットの欠落要素を回復するようにモデルがトレーニングされます。これはラベルを必要とせず、実験データに直接適用できる学習目標です。
実装における非効率性に対処し、より強力なデコーダを組み込むことにより、MPM に関する以前の作業に比べてパフォーマンスが大幅に向上しました。
いくつかの事前トレーニング タスクを比較し、データのトークン化や離散化を行わずに条件付き生成モデルを利用する新しい再構成手法を導入します。
我々は、これらの新しい手法が、ジェット機の基礎モデルの新しいテストベッド上で、元の MPM のトークン化された学習目標を上回るパフォーマンスを示すことを示します。これには、分類、二次頂点の検出、追跡など、ジェット物理学に関連するさまざまな下流タスクの使用が含まれます。
識別。

要約(オリジナル)

In this work, we significantly enhance masked particle modeling (MPM), a self-supervised learning scheme for constructing highly expressive representations of unordered sets relevant to developing foundation models for high-energy physics. In MPM, a model is trained to recover the missing elements of a set, a learning objective that requires no labels and can be applied directly to experimental data. We achieve significant performance improvements over previous work on MPM by addressing inefficiencies in the implementation and incorporating a more powerful decoder. We compare several pre-training tasks and introduce new reconstruction methods that utilize conditional generative models without data tokenization or discretization. We show that these new methods outperform the tokenized learning objective from the original MPM on a new test bed for foundation models for jets, which includes using a wide variety of downstream tasks relevant to jet physics, such as classification, secondary vertex finding, and track identification.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google