Understanding Automatic Differentiation Pitfalls

要約

自動微分法は、バックプロパゲーション、AD、オートディフ、アルゴリズム微分法とも呼ばれ、コンピュータプログラムの微分を正確かつ効率的に計算する技術としてよく知られています。しかし、時にはADによって計算された導関数が不正確であると解釈されることもあります。このような落とし穴は、ツールやアプローチによって系統的に発生する。本論文では、ADの問題点を大きく分類し、カオス、時間平均振動、離散化、固定小数点ループ、ルックアップテーブル、線形ソルバーなどの例で、それぞれの分類を説明する。また、デバッグのテクニックとその有効性についても解説します。この記事によって、読者が予期せぬ動作を回避し、問題が発生したときにより簡単に発見し、ADツールにより現実的な期待を抱くことができるようになることを願っています。

要約(オリジナル)

Automatic differentiation, also known as backpropagation, AD, autodiff, or algorithmic differentiation, is a popular technique for computing derivatives of computer programs accurately and efficiently. Sometimes, however, the derivatives computed by AD could be interpreted as incorrect. These pitfalls occur systematically across tools and approaches. In this paper we broadly categorize problematic usages of AD and illustrate each category with examples such as chaos, time-averaged oscillations, discretizations, fixed-point loops, lookup tables, and linear solvers. We also review debugging techniques and their effectiveness in these situations. With this article we hope to help readers avoid unexpected behavior, detect problems more easily when they occur, and have more realistic expectations from AD tools.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL