P-ROCKET: Pruning Random Convolution Kernels for Time Series Classification

要約

近年、2 つの時系列分類モデル、ROCKET と MINIROCKET が、その低学習コストと最先端の精度で大きな注目を集めています。
ROCKET と MINIROCKET は、トレーニングを行わずにランダムな 1 次元畳み込みカーネルを利用して、時系列データから特徴を迅速に抽出し、線形分類器の効率的なフィッティングを可能にします。
ただし、有用な機能を包括的に取得するには、多数のランダム カーネルが必要であり、リソースに制約のあるデバイスには互換性がありません。
したがって、冗長なカーネルを認識して削除するために、S-ROCKET という名前のヒューリスティック進化アルゴリズムが考案されました。
それにもかかわらず、進化的アルゴリズムの固有の性質により、S-ROCKET 内のカーネルの評価は許容できないほど時間のかかるプロセスとなります。
この論文では、有意差のないランダムなカーネルを直接評価する S-ROCKET とは異なり、逐次分類層の関連する接続を排除することで、特徴選択の観点からカーネルを削除します。
この目的を達成するために、グループ Elastic Net 分類問題として枝刈りの課題を定式化することから始め、ADMM 手法を使用して解決策に到達します。
続いて、$l_{2,1}$ と $l_2$ の正則化を 2 つの連続したステージに分岐し、別々に解決することで、前述の時間のかかる解決プロセスを高速化します。これにより、最終的に P-ROCKET と呼ばれるコア アルゴリズムが形成されます。
P-ROCKET のステージ 1 では、最初の ADMM ベースのアルゴリズムと同様にグループごとの正則化が採用されていますが、プロセスを大幅に加速するために動的に変化するペナルティが導入されています。
過学習を軽減するために、P-ROCKET のステージ 2 では要素ごとの正則化を実装し、保持されている機能を利用して線形分類器を再適合します。

要約(オリジナル)

In recent years, two time series classification models, ROCKET and MINIROCKET, have attracted much attention for their low training cost and state-of-the-art accuracy. Utilizing random 1-D convolutional kernels without training, ROCKET and MINIROCKET can rapidly extract features from time series data, allowing for the efficient fitting of linear classifiers. However, to comprehensively capture useful features, a large number of random kernels are required, which is incompatible for resource-constrained devices. Therefore, a heuristic evolutionary algorithm named S-ROCKET is devised to recognize and prune redundant kernels. Nevertheless, the inherent nature of evolutionary algorithms renders the evaluation of kernels within S-ROCKET an unacceptable time-consuming process. In this paper, diverging from S-ROCKET, which directly evaluates random kernels with nonsignificant differences, we remove kernels from a feature selection perspective by eliminating associating connections in the sequential classification layer. To this end, we start by formulating the pruning challenge as a Group Elastic Net classification problem and employ the ADMM method to arrive at a solution. Sequentially, we accelerate the aforementioned time-consuming solving process by bifurcating the $l_{2,1}$ and $l_2$ regularizations into two sequential stages and solve them separately, which ultimately forms our core algorithm, named P-ROCKET. Stage 1 of P-ROCKET employs group-wise regularization similarly to our initial ADMM-based Algorithm, but introduces dynamically varying penalties to greatly accelerate the process. To mitigate overfitting, Stage 2 of P-ROCKET implements element-wise regularization to refit a linear classifier, utilizing the retained features.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google