Variations on a Theme by Blahut and Arimoto

要約

タイトル：BlahutとArimotoによるテーマのバリエーション

要約：

– Blahut-Arimoto（BA）アルゴリズムは、速度-歪み（RD）関数の数値計算で基本的な役割を果たしています。
– このアルゴリズムは、ラグランジュ乗数を固定して交互に最小化することによって、望ましい単調収束特性を持っています。
– 本論文では、BAアルゴリズムの新しい修正版を提案し、乗数を一次元の根探しステップによって各反復で更新することを可能にします。
– 更新は、モノトニックな一変数関数に対するニュートン法で効率的に実装できます。
– これにより、乗数を反復全体で固定するBAアルゴリズムの主要な欠点を克服し、修正アルゴリズムは、元のBAアルゴリズムと同様にRD関数に収束し、収束率は$\Theta(1/n)$です。
– 数値実験により、修正アルゴリズムは、与えられた目標歪みでRD関数を直接計算し、元のBAアルゴリズムを大幅に加速できることが示されています。

要約(オリジナル)

The Blahut-Arimoto (BA) algorithm has played a fundamental role in the numerical computation of rate-distortion (RD) functions. This algorithm possesses a desirable monotonic convergence property by alternatively minimizing its Lagrangian with a fixed multiplier. In this paper, we propose a novel modification of the BA algorithm, letting the multiplier be updated in each iteration via a one-dimensional root-finding step with respect to a monotonic univariate function, which can be efficiently implemented by Newton’s method. This allows the multiplier to be updated in a flexible and efficient manner, overcoming a major drawback of the original BA algorithm wherein the multiplier is fixed throughout iterations. Consequently, the modified algorithm is capable of directly computing the RD function for a given target distortion, without exploring the entire RD curve as in the original BA algorithm. A theoretical analysis shows that the modified algorithm still converges to the RD function and the convergence rate is $\Theta(1/n)$, where $n$ denotes the number of iterations. Numerical experiments demonstrate that the modified algorithm directly computes the RD function with a given target distortion, and it significantly accelerates the original BA algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI