Masked Particle Modeling on Sets: Towards Self-Supervised High Energy Physics Foundation Models

要約

私たちは、高エネルギー物理学 (HEP) 科学データで使用するための、順序付けされていない入力セットの一般的で転送可能で再利用可能な表現を学習するための自己教師あり手法として、マスク粒子モデリング (MPM) を提案します。
この研究は、セット上の順列不変関数を学習するための事前トレーニングに基づいたマスクされたモデリングを実行する新しいスキームを提供します。
より一般的には、この作業は、一般に自己教師あり学習で事前トレーニングし、後でさまざまな下流タスクに合わせて微調整できる HEP の大規模な基礎モデルを構築するための一歩を提供します。
MPM では、セット内の粒子はマスクされ、トレーニングの目的は、事前トレーニングされたベクトル量子化変分オートエンコーダーの離散化トークン表現によって定義されるように、そのアイデンティティを回復することです。
私たちは、離散化、順列不変性、順序付けの影響に関する研究を含め、衝突型加速器の物理実験における高エネルギージェットのサンプルにおけるこの方法の有効性を研究しています。
また、モデルの微調整機能も研究し、教師ありおよび弱教師ジェット分類などのタスクに適応できること、およびモデルが小さな微調整データ セットで新しいクラスや新しいデータ ドメインに効率的に転送できることを示します。
。

要約(オリジナル)

We propose masked particle modeling (MPM) as a self-supervised method for learning generic, transferable, and reusable representations on unordered sets of inputs for use in high energy physics (HEP) scientific data. This work provides a novel scheme to perform masked modeling based pre-training to learn permutation invariant functions on sets. More generally, this work provides a step towards building large foundation models for HEP that can be generically pre-trained with self-supervised learning and later fine-tuned for a variety of down-stream tasks. In MPM, particles in a set are masked and the training objective is to recover their identity, as defined by a discretized token representation of a pre-trained vector quantized variational autoencoder. We study the efficacy of the method in samples of high energy jets at collider physics experiments, including studies on the impact of discretization, permutation invariance, and ordering. We also study the fine-tuning capability of the model, showing that it can be adapted to tasks such as supervised and weakly supervised jet classification, and that the model can transfer efficiently with small fine-tuning data sets to new classes and new data domains.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google