Training-free Ultra Small Model for Universal Sparse Reconstruction in Compressed Sensing

要約

事前トレーニングされた大規模モデルは近年広く注目を集めていますが、物理センシング、医療画像処理、バイオインフォマティクスなど、高い解釈性が必要なアプリケーションやリソースが限られているアプリケーションでは課題に直面しています。
圧縮センシング (CS) は、これらのアプリケーションにおける最近の多くの画期的な進歩を促進する十分に証明された理論です。
ただし、CS は、典型的な過小決定線形システムとして、従来の反復手法を使用した場合、特に大規模データの場合、過度に長いスパース再構成時間に悩まされます。
ディープ アンフォールディングなどの現在の AI 手法は、事前トレーニングされたモデルがトレーニング条件やデータセットの分布を超えて汎用性に乏しいか、解釈可能性に欠けるため、それらを代替することができません。
この論文では、大きなモデルの熱狂に従うのではなく、係数学習 (CL) と呼ばれる超小型の人工ニューラル モデルを提案します。これにより、従来の反復法の一般性と解釈可能性を完全に継承しながら、トレーニング不要で迅速なスパース再構成が可能になり、以前の手法を組み込むという新しい機能がもたらされます。
知識。
CL では、長さ $n$ の信号には、最小限の $n$ トレーニング可能なパラメーターのみが必要です。
CLOMP と呼ばれるケーススタディ モデルを評価用に実装します。
実験は合成信号と実際の 1 次元および 2 次元信号の両方で行われ、効率と精度が大幅に向上することが実証されています。
代表的な反復手法と比較して、CLOMP は大規模データの効率を 100 ～ 1000 倍向上させます。
8 つの多様な画像データセットに対するテスト結果は、CLOMP がサンプリング レート 0.1、0.3、0.5 の場合にそれぞれ 292%、98%、45% 構造類似性指数を改善することを示しています。
私たちは、この手法が CS 再構成を真に AI 時代に導き、疎な解に依存する無数の未決定線形システムに利益をもたらすことができると信じています。

要約(オリジナル)

Pre-trained large models attract widespread attention in recent years, but they face challenges in applications that require high interpretability or have limited resources, such as physical sensing, medical imaging, and bioinformatics. Compressed Sensing (CS) is a well-proved theory that drives many recent breakthroughs in these applications. However, as a typical under-determined linear system, CS suffers from excessively long sparse reconstruction times when using traditional iterative methods, particularly with large-scale data. Current AI methods like deep unfolding fail to substitute them because pre-trained models exhibit poor generality beyond their training conditions and dataset distributions, or lack interpretability. Instead of following the big model fervor, this paper proposes ultra-small artificial neural models called coefficients learning (CL), enabling training-free and rapid sparse reconstruction while perfectly inheriting the generality and interpretability of traditional iterative methods, bringing new feature of incorporating prior knowledges. In CL, a signal of length $n$ only needs a minimal of $n$ trainable parameters. A case study model called CLOMP is implemented for evaluation. Experiments are conducted on both synthetic and real one-dimensional and two-dimensional signals, demonstrating significant improvements in efficiency and accuracy. Compared to representative iterative methods, CLOMP improves efficiency by 100 to 1000 folds for large-scale data. Test results on eight diverse image datasets indicate that CLOMP improves structural similarity index by 292%, 98%, 45% for sampling rates of 0.1, 0.3, 0.5, respectively. We believe this method can truly usher CS reconstruction into the AI era, benefiting countless under-determined linear systems that rely on sparse solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google