Accelerating Learned Image Compression Through Modeling Neural Training Dynamics

要約

学習した画像圧縮（LIC）メソッドがますます計算的に要求が厳しくなるにつれて、トレーニング効率を向上させることが重要です。
この論文は、ニューラルトレーニングのダイナミクスをモデル化することにより、LICメソッドのトレーニングを加速するのに一歩前進します。
最初に、同じモデル内の参照パラメーターのアフィン変換としてパラメーターが表現されるいくつかの別々のモードにクラスターすることを示す感度に対応する真のダミー埋め込みトレーニングメカニズム（STDET）を提案します。
トレーニングとパラメーターの感受性を通して安定したモード内相関をさらに利用することにより、非参照パラメーターを徐々に埋め込み、訓練可能なパラメーターの数を減らしました。
さらに、サンプリング、動きの平均（SMA）技術を組み込み、確率勾配降下（SGD）トレーニングからサンプリングされた重量を補間して移動平均重量を取得し、スムーズな時間行動を確保し、トレーニング状態の変動を最小化します。
全体として、私たちの方法は、モデルのパフォーマンスを犠牲にすることなく、トレーニングスペースの寸法とトレーニング可能なパラメーターの数を大幅に削減し、モデルの収束を加速します。
また、騒々しい二次モデルに関する理論分析を提供し、提案された方法が標準SGDよりも低いトレーニングの差異を達成することを示しています。
私たちのアプローチは、LICの効率的なトレーニング方法をさらに開発するための貴重な洞察を提供します。

要約(オリジナル)

As learned image compression (LIC) methods become increasingly computationally demanding, enhancing their training efficiency is crucial. This paper takes a step forward in accelerating the training of LIC methods by modeling the neural training dynamics. We first propose a Sensitivity-aware True and Dummy Embedding Training mechanism (STDET) that clusters LIC model parameters into few separate modes where parameters are expressed as affine transformations of reference parameters within the same mode. By further utilizing the stable intra-mode correlations throughout training and parameter sensitivities, we gradually embed non-reference parameters, reducing the number of trainable parameters. Additionally, we incorporate a Sampling-then-Moving Average (SMA) technique, interpolating sampled weights from stochastic gradient descent (SGD) training to obtain the moving average weights, ensuring smooth temporal behavior and minimizing training state variances. Overall, our method significantly reduces training space dimensions and the number of trainable parameters without sacrificing model performance, thus accelerating model convergence. We also provide a theoretical analysis on the Noisy quadratic model, showing that the proposed method achieves a lower training variance than standard SGD. Our approach offers valuable insights for further developing efficient training methods for LICs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google