Large Language Model Evaluation via Matrix Nuclear-Norm

要約

大規模言語モデル (LLM) が進化し続けるにつれて、情報を圧縮して冗長性を削減する能力を評価するには、効率的な評価指標が不可欠です。
行列エントロピーのような従来のメトリクスは貴重な洞察を提供しますが、特異値分解 (SVD) では \( O(n^3) \) の時間がかかるため、大規模モデルでは計算量が多くなります。
この問題を軽減するために、行列核ノルムを導入します。これは、LLM のデータ圧縮能力を定量化する指標として機能するだけでなく、予測識別可能性と多様性の両方を捉えるための行列ランクの凸近似も提供します。
\( L_{1,2}\text{-norm} \) を使用して核ノルムをさらに近似することで、モデルの情報圧縮能力を効果的に評価できます。
このアプローチでは、時間計算量が \( O(n^2) \) に軽減され、SVD 計算の必要がなくなります。
その結果、サイズが 111M から 6.7B に増加するにつれて、Matrix Nuclear-Norm は CEREBRAS-GPT モデルの Matrix Entropy より 8 ～ 24 倍の速度を達成します。
Pythia などの他のモデルでのテストで検証されているように、このパフォーマンスのギャップはモデルが大きくなるとより顕著になります。
さらに、ベンチマークとモデル応答の評価により、私たちが提案する Matrix Nuclear-Norm が、LLM のパフォーマンスを評価するための信頼性が高く、スケーラブルで効率的なツールであり、精度と計算効率のバランスが取れていることが確認されています。
コードは https://github.com/MLGroupJLU/MatrixNuclearNorm で入手できます。

要約(オリジナル)

As large language models (LLMs) continue to evolve, efficient evaluation metrics are vital for assessing their ability to compress information and reduce redundancy. While traditional metrics like Matrix Entropy offer valuable insights, they are computationally intensive for large-scale models due to their \( O(n^3) \) time complexity with Singular Value Decomposition (SVD). To mitigate this issue, we introduce the Matrix Nuclear-Norm, which not only serves as a metric to quantify the data compression proficiency of LLM but also provides a convex approximation of matrix rank to capture both predictive discriminability and diversity. By employing the \( L_{1,2}\text{-norm} \) to further approximate the nuclear norm, we can effectively assess the model’s information compression capabilities. This approach reduces the time complexity to \( O(n^2) \) and eliminates the need for SVD computation. Consequently, the Matrix Nuclear-Norm achieves speeds 8 to 24 times faster than Matrix Entropy for the CEREBRAS-GPT model as sizes increase from 111M to 6.7B. This performance gap becomes more pronounced with larger models, as validated in tests with other models like Pythia. Additionally, evaluations on benchmarks and model responses confirm that our proposed Matrix Nuclear-Norm is a reliable, scalable, and efficient tool for assessing LLMs’ performance, striking a balance between accuracy and computational efficiency. The code is available at https://github.com/MLGroupJLU/MatrixNuclearNorm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google