Contextual Compression Encoding for Large Language Models: A Novel Framework for Multi-Layered Parameter Space Pruning

要約

モデルサイズが成長し続けるにつれて、コンテキスト認識の圧縮技術は注目を集めており、効率的な展開を妨げる計算ボトルネックを導入しています。
構造化されたエンコーディングアプローチが提案され、冗長なパラメーターグループを選択的に排除しながら、表現忠実度が複数の層にわたって保存されるようにしました。
コンテキスト圧縮エンコーディング（CCE）は、パラメーター分布を動的に再構築するマルチステージエンコーディングメカニズムを導入し、メモリフットプリントと計算の複雑さの大幅な削減を可能にしました。
実験的評価により、CCEを介して圧縮されたモデルが言語表現力と一貫性を保持し、さまざまなテキスト生成と分類タスクにわたって精度を維持することが実証されました。
層ごとの分析により、中間ネットワーク層がより高い圧縮比を示し、自己触媒とフィードフォワード変換には、機能能力を損なうことなく再編成できる冗長性が含まれているという観察結果と一致していることが明らかになりました。
従来の量子化と剪定方法との比較により、CCEは効率とモデル保持の間のよりバランスの取れたトレードオフを提供し、広範な再訓練を必要とせずにエネルギー消費と推論の潜在性の削減を達成したことが確認されました。
計算効率の改善は、メモリ使用量の削減により、よりスケーラブルな実装を可能にするリソース制約の環境を含む展開シナリオで特に明らかでした。
内部ネットワークの動作のさらなる分析により、圧縮モデルが安定した活性化分布を示し、動的に適応して変化を入力し、大規模アーキテクチャを最適化するための構造化された圧縮戦略の生存率を強化することが示されました。

要約(オリジナル)

Context-aware compression techniques have gained increasing attention as model sizes continue to grow, introducing computational bottlenecks that hinder efficient deployment. A structured encoding approach was proposed to selectively eliminate redundant parameter groups while ensuring that representational fidelity was preserved across multiple layers. Contextual Compression Encoding (CCE) introduced a multi-stage encoding mechanism that dynamically restructured parameter distributions, allowing for significant reductions in memory footprint and computational complexity. Experimental evaluations demonstrated that models compressed through CCE retained linguistic expressivity and coherence, maintaining accuracy across a range of text generation and classification tasks. Layer-wise analysis revealed that middle-network layers exhibited higher compression ratios, aligning with the observation that self-attention and feed-forward transformations contained redundancies that could be reorganized without impairing functional capacity. Comparisons against conventional quantization and pruning methods confirmed that CCE provided a more balanced trade-off between efficiency and model retention, achieving reductions in energy consumption and inference latency without requiring extensive retraining. Computational efficiency improvements were particularly evident in deployment scenarios involving resource-constrained environments, where reductions in memory usage enabled more scalable implementations. Further analyses of internal network behavior showed that compressed models exhibited stable activation distributions and adapted dynamically to input variations, reinforcing the viability of structured compression strategies for optimizing large-scale architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google