FT K-Means: A High-Performance K-Means on GPU with Fault Tolerance

要約

K-Meansはクラスタリングにおいて広く使われているアルゴリズムであるが、その効率は主に距離計算の計算コストに制約されている。既存の実装は、計算ユニットの利用が最適でなく、ソフトエラーに対する耐性に欠けるという問題を抱えている。これらの課題に対処するために、我々は、オンラインフォールトトレランスを備えたK-Meansの高性能GPUアクセラレーション実装であるFT K-Meansを紹介する。我々はまず、NVIDIAのcuMLライブラリと比較して競争力のある性能を達成する段階的最適化戦略を提示する。さらに、異なるデータ型をサポートし、異なる入力形状に適応するテンプレートベースのコード生成フレームワークを用いて、FT K-Meansを改良する。コピー操作中のメモリ非同期化による既存のフォールトトレランス手法の失敗に対処するため、新しいワープレベルテンソルコアエラー補正スキームを提案する。NVIDIA T4 GPUとA100 GPUを用いた実験評価により、フォールトトレランスのないFT K-MeansがcuMLのK-Means実装を上回り、不規則なデータ形状を含むシナリオにおいて10%～300%の性能向上を示すことが実証された。さらに、FT K-Meansのフォールト・トレランス機能は、11%のオーバーヘッドしか導入せず、毎秒数十のエラーが注入されてもロバストな性能を維持する。

要約(オリジナル)

K-Means is a widely used algorithm in clustering, however, its efficiency is primarily constrained by the computational cost of distance computing. Existing implementations suffer from suboptimal utilization of computational units and lack resilience against soft errors. To address these challenges, we introduce FT K-Means, a high-performance GPU-accelerated implementation of K-Means with online fault tolerance. We first present a stepwise optimization strategy that achieves competitive performance compared to NVIDIA’s cuML library. We further improve FT K-Means with a template-based code generation framework that supports different data types and adapts to different input shapes. A novel warp-level tensor-core error correction scheme is proposed to address the failure of existing fault tolerance methods due to memory asynchronization during copy operations. Our experimental evaluations on NVIDIA T4 GPU and A100 GPU demonstrate that FT K-Means without fault tolerance outperforms cuML’s K-Means implementation, showing a performance increase of 10\%-300\% in scenarios involving irregular data shapes. Moreover, the fault tolerance feature of FT K-Means introduces only an overhead of 11\%, maintaining robust performance even with tens of errors injected per second.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL