EVOS: Efficient Implicit Neural Training via EVOlutionary Selector

要約

暗黙の神経表現（INR）を加速するための効率的なトレーニングパラダイムである進化セレクター（EVOS）を提案します。
各反復でニューラルネットワークを介してすべてのサンプルを供給する従来のINRトレーニングとは異なり、私たちのアプローチは、トレーニングを戦略的に選択したポイントに制限し、冗長な前方パスを排除することにより計算オーバーヘッドを削減します。
具体的には、各サンプルを進化プロセスの個人として扱います。これらのサンプルは、それらの適者だけが生き残り、トレーニングに包括的であり、神経ネットワークのダイナミクスで適応的に進化します。
これは概念的には進化的アルゴリズムと類似していますが、それらの明確な目的（アクセラレーションの選択と反復ソリューションの最適化の選択）には、コンテキストのための進化メカニズムの基本的な再定義が必要です。
これに応じて、私たちはまばらなフィットネス評価、周波数誘導クロスオーバーを設計し、EVOを構成するために偏りのない突然変異を増強しました。
これらのコンポーネントは、それぞれ計算コストを削減してサンプル選択を導き、周波数ドメインバランスを通じてパフォーマンスを向上させ、キャッシュ評価から選択バイアスを緩和します。
広範な実験は、私たちの方法がトレーニング時間の約48％〜66％の短縮を達成しながら、追加のコストなしで優れた収束を確保し、最近のサンプリングベースの戦略間の最先端の加速を確立することを示しています。

要約(オリジナル)

We propose EVOlutionary Selector (EVOS), an efficient training paradigm for accelerating Implicit Neural Representation (INR). Unlike conventional INR training that feeds all samples through the neural network in each iteration, our approach restricts training to strategically selected points, reducing computational overhead by eliminating redundant forward passes. Specifically, we treat each sample as an individual in an evolutionary process, where only those fittest ones survive and merit inclusion in training, adaptively evolving with the neural network dynamics. While this is conceptually similar to Evolutionary Algorithms, their distinct objectives (selection for acceleration vs. iterative solution optimization) require a fundamental redefinition of evolutionary mechanisms for our context. In response, we design sparse fitness evaluation, frequency-guided crossover, and augmented unbiased mutation to comprise EVOS. These components respectively guide sample selection with reduced computational cost, enhance performance through frequency-domain balance, and mitigate selection bias from cached evaluation. Extensive experiments demonstrate that our method achieves approximately 48%-66% reduction in training time while ensuring superior convergence without additional cost, establishing state-of-the-art acceleration among recent sampling-based strategies.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google