ASDL: A Unified Interface for Gradient Preconditioning in PyTorch

要約

【タイトル】PyTorchにおける勾配事前処理のための統一インタフェース、ASDL 【要約】

・勾配事前処理は、勾配の2次情報をグラディエントベースの学習アルゴリズムの改善と拡張に統合するための重要な手法である
・深層学習では、stochasticity、nonconvexity、high dimensionalityが勾配事前処理方法の実装の複雑性や不一致したパフォーマンスと実現可能性につながっている
・PyTorchの拡張ライブラリである自動2次微分ライブラリ（ASDL）を提案し、勾配事前処理のための様々な実装やプラグアンドプレイの統一インタフェースを提供する
・ASDLによって、勾配事前処理方法の範囲を研究し、構造化された比較を可能にする

要約(オリジナル)

Gradient preconditioning is a key technique to integrate the second-order information into gradients for improving and extending gradient-based learning algorithms. In deep learning, stochasticity, nonconvexity, and high dimensionality lead to a wide variety of gradient preconditioning methods, with implementation complexity and inconsistent performance and feasibility. We propose the Automatic Second-order Differentiation Library (ASDL), an extension library for PyTorch, which offers various implementations and a plug-and-play unified interface for gradient preconditioning. ASDL enables the study and structured comparison of a range of gradient preconditioning methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI