A tutorial on automatic differentiation with complex numbers

要約

自動微分はどこにでもありますが、’$\mathbb{C}^d$’ $\cong$ ‘$\mathbb{R}^{2d} の微分を述べる以上に、それが複雑な算術でどのように機能するかについての最小限のドキュメントしか存在しません。
$’ と、せいぜい Wirtinger 計算への浅い言及です。
残念ながら、等価性 $\mathbb{C}^d \cong \mathbb{R}^{2d}$ は、たとえば高価な線形代数関数や
微分方程式シミュレータ。
このようなドキュメントの不足に対処するために、この記事では、正則性とコーシー-リーマン方程式を明示的に回避しながら、ヴィルティンガー導関数、修正連鎖則、さまざまな勾配規則などのトピックを取り上げ、複素数を使用した順モードおよび逆モードの自動微分について概説します。
(これでは制限が厳しすぎます)。
正確には、複雑な解析や微分幾何学に依存せずに、ほぼ完全に線形代数を使用して、ヤコビアン ベクトルおよびベクトル ヤコビアン積の複雑なバージョンを導出し、説明し、実装します。
このチュートリアルは、ユーザーと開発者に同様に、カスタム勾配伝播ルールを実装する際に複雑な値を真剣に受け止めるよう行動を促すものであり、原稿ではその方法について説明しています。

要約(オリジナル)

Automatic differentiation is everywhere, but there exists only minimal documentation of how it works in complex arithmetic beyond stating ‘derivatives in $\mathbb{C}^d$’ $\cong$ ‘derivatives in $\mathbb{R}^{2d}$’ and, at best, shallow references to Wirtinger calculus. Unfortunately, the equivalence $\mathbb{C}^d \cong \mathbb{R}^{2d}$ becomes insufficient as soon as we need to derive custom gradient rules, e.g., to avoid differentiating ‘through’ expensive linear algebra functions or differential equation simulators. To combat such a lack of documentation, this article surveys forward- and reverse-mode automatic differentiation with complex numbers, covering topics such as Wirtinger derivatives, a modified chain rule, and different gradient conventions while explicitly avoiding holomorphicity and the Cauchy–Riemann equations (which would be far too restrictive). To be precise, we will derive, explain, and implement a complex version of Jacobian-vector and vector-Jacobian products almost entirely with linear algebra without relying on complex analysis or differential geometry. This tutorial is a call to action, for users and developers alike, to take complex values seriously when implementing custom gradient propagation rules — the manuscript explains how.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google