MARS: Masked Automatic Ranks Selection in Tensor Decompositions

要約

【タイトル】MARS: テンソル分解におけるマスクされた自動ランク選択

【要約】
– テンソル分解法は、ニューラルネットワークの圧縮や加速を含む、さまざまな応用において効果的であることが証明されている
– 一方で、最適な分解ランクを決定する問題は、圧縮と精度のトレードオフを制御する重要なパラメータを示すため、依然として深刻な問題である
– この論文では、一般的なテンソル分解におけるランクの自動選択のための新しい効率的な方法であるMARSを紹介する
– 学習中、プロシージャは、最適なテンソル構造を「選択する」分解コア上のバイナリマスクを学習する
– 学習は、特定のベイズモデルにおける緩和された最大事後確率（MAP）推定によって実行され、標準のニューラルネットワークトレーニングルーチンに自然に組み込むことができる
– 多様な実験により、MARSは、さまざまなタスクにおいて、以前の作品に比べてより優れた結果を達成する

要約(オリジナル)

Tensor decomposition methods have proven effective in various applications, including compression and acceleration of neural networks. At the same time, the problem of determining optimal decomposition ranks, which present the crucial parameter controlling the compression-accuracy trade-off, is still acute. In this paper, we introduce MARS — a new efficient method for the automatic selection of ranks in general tensor decompositions. During training, the procedure learns binary masks over decomposition cores that ‘select’ the optimal tensor structure. The learning is performed via relaxed maximum a posteriori (MAP) estimation in a specific Bayesian model and can be naturally embedded into the standard neural network training routine. Diverse experiments demonstrate that MARS achieves better results compared to previous works in various tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI