Locality-Sensitive Hashing-Based Efficient Point Transformer with Applications in High-Energy Physics

要約

この研究では、高エネルギー物理学 (HEP) や天体物理学などの科学分野における大規模点群処理用に最適化された新しい変圧器モデルを紹介します。
グラフ ニューラル ネットワークと標準トランスフォーマーの制限に対処するため、私たちのモデルはローカル誘導バイアスを統合し、ハードウェアに優しい通常の操作で線形に近い複雑さを実現します。
この研究の貢献の 1 つは、効率的な変換器を構築するためのさまざまなスパース化手法のエラーの複雑さのトレードオフの定量的分析です。
私たちの調査結果は、局所帰納バイアスのある大規模点群データのカーネル近似において、局所性依存ハッシュ (LSH)、特に OR および AND 構築 LSH を使用することの優位性を強調しています。
この発見に基づいて、我々は LSH ベースの Efficient Point Transformer (HEPT) を提案します。これは E$^2$LSH と OR および AND 構造を組み合わせ、通常の計算に基づいて構築されます。
HEPT は、2 つの重要だが時間のかかる HEP タスクで顕著なパフォーマンスを示し、精度と計算速度の点で既存の GNN およびトランスフォーマーを大幅に上回り、幾何学的な深層学習と大規模な科学データ処理において大幅な進歩を示しています。
私たちのコードは https://github.com/Graph-COM/HEPT で入手できます。

要約(オリジナル)

This study introduces a novel transformer model optimized for large-scale point cloud processing in scientific domains such as high-energy physics (HEP) and astrophysics. Addressing the limitations of graph neural networks and standard transformers, our model integrates local inductive bias and achieves near-linear complexity with hardware-friendly regular operations. One contribution of this work is the quantitative analysis of the error-complexity tradeoff of various sparsification techniques for building efficient transformers. Our findings highlight the superiority of using locality-sensitive hashing (LSH), especially OR & AND-construction LSH, in kernel approximation for large-scale point cloud data with local inductive bias. Based on this finding, we propose LSH-based Efficient Point Transformer (HEPT), which combines E$^2$LSH with OR & AND constructions and is built upon regular computations. HEPT demonstrates remarkable performance on two critical yet time-consuming HEP tasks, significantly outperforming existing GNNs and transformers in accuracy and computational speed, marking a significant advancement in geometric deep learning and large-scale scientific data processing. Our code is available at https://github.com/Graph-COM/HEPT.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google