The Elements of Differentiable Programming

要約

人工知能は最近、大規模なモデル、膨大なデータセット、高速化されたハードウェア、そして最後に微分可能プログラミングの変革力によって加速され、目覚ましい進歩を遂げています。
この新しいプログラミング パラダイムにより、複雑なコンピューター プログラム (制御フローやデータ構造を含む) のエンドツーエンドの差別化が可能になり、プログラム パラメーターの勾配ベースの最適化が可能になります。
新たなパラダイムとして、微分可能プログラミングは、自動微分、グラフィカル モデル、最適化、統計など、コンピューター サイエンスと応用数学のいくつかの分野に基づいて構築されています。
この本では、微分可能プログラミングに役立つ基本概念を包括的にレビューします。
私たちは、最適化と確率という 2 つの主要な視点を採用しており、この 2 つの視点は明確に類似しています。
微分可能なプログラミングとは、単にプログラムを差別化するだけではなく、差別化を目的としたプログラムの思慮深い設計でもあります。
プログラムを微分可能にすることで、プログラムの実行中に確率分布が本質的に導入され、プログラムの出力に関連する不確実性を定量化する手段が提供されます。

要約(オリジナル)

Artificial intelligence has recently experienced remarkable advances, fueled by large models, vast datasets, accelerated hardware, and, last but not least, the transformative power of differentiable programming. This new programming paradigm enables end-to-end differentiation of complex computer programs (including those with control flows and data structures), making gradient-based optimization of program parameters possible. As an emerging paradigm, differentiable programming builds upon several areas of computer science and applied mathematics, including automatic differentiation, graphical models, optimization and statistics. This book presents a comprehensive review of the fundamental concepts useful for differentiable programming. We adopt two main perspectives, that of optimization and that of probability, with clear analogies between the two. Differentiable programming is not merely the differentiation of programs, but also the thoughtful design of programs intended for differentiation. By making programs differentiable, we inherently introduce probability distributions over their execution, providing a means to quantify the uncertainty associated with program outputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google