Hiding Data Helps: On the Benefits of Masking for Sparse Coding

要約

スパース コーディングとは、学習した辞書の要素の疎な線形結合として信号をモデル化することを指します。
スパース コーディングは、信号処理、コンピューター ビジョン、医用画像処理など、多くのアプリケーションで成功し、解釈可能なアプローチであることが証明されています。
この成功は、証明可能な保証を伴うスパース コーディングに関する多くの作業に拍車をかけましたが、グラウンド トゥルースに関して学習した辞書がより大きな (または \textit{over-realized}) 設定での作業は、比較的初期段階にあります。
過剰実現体制における既存の理論的結果は、ノイズのないデータの場合に限定されます。
この論文では、ノイズの存在下で過剰に実現されたスパース コーディングの場合、標準辞書学習目標を最小化すると、データ生成プロセスの信号の大きさに関係なく、グラウンド トゥルース辞書を回復できない可能性があることを示します。
さらに、自己教師あり学習に関する研究が増えていることから、新しいマスキング目標を提案し、この新しい目標を最小化することでグラウンド トゥルース ディクショナリを復元できることを証明します。
いくつかのパラメーター体制にわたる実験で理論的結果を裏付け、提案された目的が標準の再構成目的よりも優れた経験的パフォーマンスを享受することを示します。

要約(オリジナル)

Sparse coding refers to modeling a signal as sparse linear combinations of the elements of a learned dictionary. Sparse coding has proven to be a successful and interpretable approach in many applications, such as signal processing, computer vision, and medical imaging. While this success has spurred much work on sparse coding with provable guarantees, work on the setting where the learned dictionary is larger (or \textit{over-realized}) with respect to the ground truth is comparatively nascent. Existing theoretical results in the over-realized regime are limited to the case of noise-less data. In this paper, we show that for over-realized sparse coding in the presence of noise, minimizing the standard dictionary learning objective can fail to recover the ground-truth dictionary, regardless of the magnitude of the signal in the data-generating process. Furthermore, drawing from the growing body of work on self-supervised learning, we propose a novel masking objective and we prove that minimizing this new objective can recover the ground-truth dictionary. We corroborate our theoretical results with experiments across several parameter regimes, showing that our proposed objective enjoys better empirical performance than the standard reconstruction objective.

arxiv情報

著者 Muthu Chidambaram,Chenwei Wu,Yu Cheng,Rong Ge
発行日 2023-02-24 16:16:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG パーマリンク