NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning

要約

明示的な制約を課すことは比較的新しいが、複雑な摂動セット上でロバストな最適化を行う信頼できるAIや、物理法則や制約を尊重する必要がある科学的アプリケーションなどに刺激され、深層学習においてますます緊急性を増している。しかし、最適化の専門知識がなければ、制約のある深層学習の問題を確実に解くことは困難である。既存の深層学習フレームワークは制約を認めない。汎用的な最適化パッケージは制約を扱うことができるが、自動微分を行わず、非平滑性の扱いに問題がある。本論文では、NCVXという新しいソフトウェアパッケージを紹介する。その初期リリースには、制約付き機械学習/深層学習問題のためのPyTorch対応汎用最適化パッケージであるソルバーPyGRANSOが含まれており、この種のものとしては初めてとなる。NCVXは、PyTorchから自動微分、GPU加速、テンソル変数を継承し、自由に利用でき、広く使われているオープンソースのフレームワークを基に構築されています。NCVXは、https://ncvx.org、詳細なドキュメントと機械学習/深層学習や他の分野からの数多くの例題が公開されています。

要約(オリジナル)

Imposing explicit constraints is relatively new but increasingly pressing in deep learning, stimulated by, e.g., trustworthy AI that performs robust optimization over complicated perturbation sets and scientific applications that need to respect physical laws and constraints. However, it can be hard to reliably solve constrained deep learning problems without optimization expertise. The existing deep learning frameworks do not admit constraints. General-purpose optimization packages can handle constraints but do not perform auto-differentiation and have trouble dealing with nonsmoothness. In this paper, we introduce a new software package called NCVX, whose initial release contains the solver PyGRANSO, a PyTorch-enabled general-purpose optimization package for constrained machine/deep learning problems, the first of its kind. NCVX inherits auto-differentiation, GPU acceleration, and tensor variables from PyTorch, and is built on freely available and widely used open-source frameworks. NCVX is available at https://ncvx.org, with detailed documentation and numerous examples from machine/deep learning and other fields.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL