Taming Binarized Neural Networks and Mixed-Integer Programs

要約

最近、特にその説明可能性のために、バイナリ化ニューラル ネットワークに大きな関心が集まっています。
同時に、バックプロパゲーションなどの自動微分アルゴリズムは 2 値化されたニューラル ネットワークでは失敗するため、適用性が制限されます。
バイナリ化ニューラル ネットワークを混合整数プログラムの副加法双対としてトレーニングする問題を再定式化することにより、バイナリ化ニューラル ネットワークが飼いならされた表現を許容することを示します。
これにより、Bolte らのフレームワークを使用できるようになります。
これは、バイナリ化されたニューラル ネットワークのコンテキストでバックプロパゲーションを実際に実装する可能性を提供します。
このアプローチは、AI などへの記号的アプローチで遭遇するような、バイナリ化されたニューラル ネットワークのトレーニングを超えて、より広範なクラスの混合整数プログラムにも使用できます。

要約(オリジナル)

There has been a great deal of recent interest in binarized neural networks, especially because of their explainability. At the same time, automatic differentiation algorithms such as backpropagation fail for binarized neural networks, which limits their applicability. By reformulating the problem of training binarized neural networks as a subadditive dual of a mixed-integer program, we show that binarized neural networks admit a tame representation. This, in turn, makes it possible to use the framework of Bolte et al. for implicit differentiation, which offers the possibility for practical implementation of backpropagation in the context of binarized neural networks. This approach could also be used for a broader class of mixed-integer programs, beyond the training of binarized neural networks, as encountered in symbolic approaches to AI and beyond.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google