Particle Transformer for Jet Tagging

要約

ジェットのタグ付けは、素粒子物理学における重要かつ困難な分類作業です。
ディープラーニングはジェットのタグ付けを変革し、パフォーマンスを大幅に向上させましたが、大規模な公開データセットの欠如がさらなる強化の妨げとなっています。
この研究では、ジェットのタグ付けのための新しい包括的なデータセットである JetClass を紹介します。
JetClass データセットは 100 M のジェットで構成されており、既存の公開データセットよりも約 2 桁大きいです。
これまでタグ付けが未調査だった数種類を含む、合計 10 種類のジェットがシミュレートされます。
大規模なデータセットに基づいて、Particle Transformer (ParT) と呼ばれる、ジェットのタグ付けのための新しい Transformer ベースのアーキテクチャを提案します。
アテンション メカニズムにペアごとの粒子の相互作用を組み込むことにより、ParT は単純な Transformer よりも高いタグ付けパフォーマンスを実現し、以前の最先端の ParticleNet を大幅に上回ります。
事前トレーニングされた ParT モデルを微調整すると、広く採用されている 2 つのジェット タギング ベンチマークのパフォーマンスも大幅に向上します。
データセット、コード、モデルは https://github.com/jet-universe/particle_transformer で公開されています。

要約(オリジナル)

Jet tagging is a critical yet challenging classification task in particle physics. While deep learning has transformed jet tagging and significantly improved performance, the lack of a large-scale public dataset impedes further enhancement. In this work, we present JetClass, a new comprehensive dataset for jet tagging. The JetClass dataset consists of 100 M jets, about two orders of magnitude larger than existing public datasets. A total of 10 types of jets are simulated, including several types unexplored for tagging so far. Based on the large dataset, we propose a new Transformer-based architecture for jet tagging, called Particle Transformer (ParT). By incorporating pairwise particle interactions in the attention mechanism, ParT achieves higher tagging performance than a plain Transformer and surpasses the previous state-of-the-art, ParticleNet, by a large margin. The pre-trained ParT models, once fine-tuned, also substantially enhance the performance on two widely adopted jet tagging benchmarks. The dataset, code and models are publicly available at https://github.com/jet-universe/particle_transformer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google