Efficient Learning With Sine-Activated Low-rank Matrices

要約

低ランク分解は、ニューラルネットワークアーキテクチャのパラメータ効率を向上させる重要なツールとして登場し、機械学習における様々なアプリケーションで支持を集めている。これらの手法は、パラメータ数を大幅に削減し、コンパクトさと性能のバランスを取る。しかし、パラメータ効率とモデルの精度との妥協が共通の課題であり、パラメータを削減すると、フルランクに比べて精度が低下することが多い。本研究では、正弦波関数を低ランク分解プロセスに統合する新しい理論的枠組みを提案する。このアプローチは、低ランク法の特徴であるパラメータ効率の利点を維持するだけでなく、分解のランクを上げることにより、モデルの性能を向上させる。我々の手法は、Vision Transformers (ViT)、Large Language Models (LLM)、Neural Radiance Fields (NeRF)、3D形状モデリングへの応用の成功によって証明されるように、既存の低ランクモデルのプラグイン拡張であることが証明される。

要約(オリジナル)

Low-rank decomposition has emerged as a vital tool for enhancing parameter efficiency in neural network architectures, gaining traction across diverse applications in machine learning. These techniques significantly lower the number of parameters, striking a balance between compactness and performance. However, a common challenge has been the compromise between parameter efficiency and the accuracy of the model, where reduced parameters often lead to diminished accuracy compared to their full-rank counterparts. In this work, we propose a novel theoretical framework that integrates a sinusoidal function within the low-rank decomposition process. This approach not only preserves the benefits of the parameter efficiency characteristic of low-rank methods but also increases the decomposition’s rank, thereby enhancing model performance. Our method proves to be a plug in enhancement for existing low-rank models, as evidenced by its successful application in Vision Transformers (ViT), Large Language Models (LLMs), Neural Radiance Fields (NeRF) and 3D shape modelling.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL