Convergence of alternating minimisation algorithms for dictionary learning

要約

タイトル：辞書学習のための交互最小化アルゴリズムの収束

要約：
– 辞書学習のための2つの交互最小化アルゴリズム、Method of Optimal Directions (MOD) とOnline Dictionary Learning (ODL) の収束の十分条件を導出する。
– 両方のアルゴリズムが収束するためには、適切な初期化が必要であり、生成辞書から最大で$1/\log(K)$離れた初期化または初期化の各要素が生成要素を指すような特別な構造を持つ必要がある。
– これは、疎係数の支持に対して非一様な分布を持つデータモデルでも行われ、辞書要素の出現頻度が大幅に変化し、実データに近いモデル化が可能になる。

要約(オリジナル)

In this paper we derive sufficient conditions for the convergence of two popular alternating minimisation algorithms for dictionary learning – the Method of Optimal Directions (MOD) and Online Dictionary Learning (ODL), which can also be thought of as approximative K-SVD. We show that given a well-behaved initialisation that is either within distance at most $1/\log(K)$ to the generating dictionary or has a special structure ensuring that each element of the initialisation only points to one generating element, both algorithms will converge with geometric convergence rate to the generating dictionary. This is done even for data models with non-uniform distributions on the supports of the sparse coefficients. These allow the appearance frequency of the dictionary elements to vary heavily and thus model real data more closely.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI