X-TIME: An in-memory engine for accelerating machine learning on tabular data with CAMs

要約

タイトル: CAMを使用したタブラーデータの機械学習を高速化するためのインメモリーエンジン X-TIME

要約:
– 構造化データ(タブラーデータ)は、データサイエンスにおいて最も一般的な形式である。
– ディープラーニングモデルは、画像や音声などの非構造化データを学習するのに優れているが、タブラーデータから学習する場合、より単純なアプローチよりも正確性が低い。
– 一方、現代の木ベースの機械学習(ML)モデルは、構造化データから適切な情報を抽出することで輝いている。
– データサイエンスにおいて重要な要件は、例えば、モデルがシミュレーションと閉ループで使用され、科学的発見を加速する場合などに、モデルの推論レイテンシを削減することである。
– しかし、ハードウェアアクセラレーションコミュニティは、深層ニューラルネットワークに焦点を当てており、他の形式の機械学習にほとんど注目していない。
– 一つ前の研究では、アナログコンテンツアドレスメモリ(CAM)コンポーネントを使用してランダムフォレストを効率的にマッピングする方法が説明されていた。
– この研究では、増加精度アナログCAMとプログラマブルネットワークオンチップを実装したアナログ-デジタルアーキテクチャ全体に焦点を当てている。これにより、XGBoostやCatBoostなどの最新の木ベースのMLモデルを推論できるようになる。
– 16nm技術の単一チップで評価した結果、最新のGPUに比較して119倍の低レイテンシと9740倍の高スループットを示し、ピーク電力消費量は19Wであった。

要約(オリジナル)

Structured, or tabular, data is the most common format in data science. While deep learning models have proven formidable in learning from unstructured data such as images or speech, they are less accurate than simpler approaches when learning from tabular data. In contrast, modern tree-based Machine Learning (ML) models shine in extracting relevant information from structured data. An essential requirement in data science is to reduce model inference latency in cases where, for example, models are used in a closed loop with simulation to accelerate scientific discovery. However, the hardware acceleration community has mostly focused on deep neural networks and largely ignored other forms of machine learning. Previous work has described the use of an analog content addressable memory (CAM) component for efficiently mapping random forests. In this work, we focus on an overall analog-digital architecture implementing a novel increased precision analog CAM and a programmable network on chip allowing the inference of state-of-the-art tree-based ML models, such as XGBoost and CatBoost. Results evaluated in a single chip at 16nm technology show 119x lower latency at 9740x higher throughput compared with a state-of-the-art GPU, with a 19W peak power consumption.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI