NeuKron: Constant-Size Lossy Compression of Sparse Reorderable Matrices and Tensors

要約

タイトル：NeuKron：疎な再順序化可能行列とテンソルの定数サイズ損失圧縮

要約：
– 疎な再順序化可能行列は、現実世界に存在する多くのデータを自然に表現する。これらは、行と列が任意に並べ替えられる（例えば二部グラフの隣接行列など）。
– 従来の方法でスパースマトリックスを格納するには、非ゼロ数の数に比例する量のスペースが必要であり、スパースマトリックスの損失圧縮（例：Truncated SVD）は、通常、行と列の数に比例する量のスペースが必要である。
– この論文では、NeuKronを提案して、スパース再順序化可能マトリックスを定数サイズのスペースに圧縮することができる。NeuKronは、再帰ニューラルネットワークを使用してKronecker productを一般化し、定数のパラメータでパラメータを更新する。NeuKronは、与えられた行列が製法によって近似され、行と列が並べ替えられるようにパラメータを更新する。更新は、入力行列内の非ゼロ数の数に比例する時間を要し、各エントリの近似は対数時間で取得できる。NeuKronは、行列を一般化したスパース再順序化可能テンソル（多層グラフなど）を圧縮することもできる。
– 10の実世界データセットでの実験により、NeuKronは（a）コンパクト：出力エラーが同様のサイズの競合他社の5桁少ない場合があり、（b）正確：出力サイズが同様の最良の競合他社の10倍以下の近似誤差を与え、（c）スケーラブル：2億3000万個以上の非ゼロエントリを持つマトリックスを正常に圧縮することができます。

要約(オリジナル)

Many real-world data are naturally represented as a sparse reorderable matrix, whose rows and columns can be arbitrarily ordered (e.g., the adjacency matrix of a bipartite graph). Storing a sparse matrix in conventional ways requires an amount of space linear in the number of non-zeros, and lossy compression of sparse matrices (e.g., Truncated SVD) typically requires an amount of space linear in the number of rows and columns. In this work, we propose NeuKron for compressing a sparse reorderable matrix into a constant-size space. NeuKron generalizes Kronecker products using a recurrent neural network with a constant number of parameters. NeuKron updates the parameters so that a given matrix is approximated by the product and reorders the rows and columns of the matrix to facilitate the approximation. The updates take time linear in the number of non-zeros in the input matrix, and the approximation of each entry can be retrieved in logarithmic time. We also extend NeuKron to compress sparse reorderable tensors (e.g. multi-layer graphs), which generalize matrices. Through experiments on ten real-world datasets, we show that NeuKron is (a) Compact: requiring up to five orders of magnitude less space than its best competitor with similar approximation errors, (b) Accurate: giving up to 10x smaller approximation error than its best competitors with similar size outputs, and (c) Scalable: successfully compressing a matrix with over 230 million non-zero entries.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI