An Exact Poly-Time Membership-Queries Algorithm for Extraction a three-Layer ReLU Network

要約

クエリから ReLU ネットワークを学習するという自然な問題を考えますが、これは最近、モデル抽出攻撃によって取り除かれました。
この作業では、穏やかな一般的な位置の仮定の下でクエリから深さ 2 の ReLU ネットワークを学習できる多項式時間アルゴリズムを提示します。
また、穏やかな一般的な位置の仮定の下で、クエリから深さ 3 の ReLU ネットワークの豊富なクラスを学習できる多項式時間アルゴリズムも提示します。
たとえば、第 1 層のニューロンの数が第 2 層のニューロンの次元と数よりも小さいほとんどのネットワークを学習できます。
これらの 2 つの結果は、最先端の技術を大幅に改善します。私たちの研究まで、多項式時間アルゴリズムは、基になる分布がガウス分布であるという仮定の下で、深さ 2 のネットワークのクエリから学習することが示されただけでした (Chen et al. (2021)
) または重み行列の行が線形独立であること (Milli et al. (2019))。
深度が 3 以上の場合、既知のポリタイム結果はありませんでした。

要約(オリジナル)

We consider the natural problem of learning a ReLU network from queries, which was recently remotivated by model extraction attacks. In this work, we present a polynomial-time algorithm that can learn a depth-two ReLU network from queries under mild general position assumptions. We also present a polynomial-time algorithm that, under mild general position assumptions, can learn a rich class of depth-three ReLU networks from queries. For instance, it can learn most networks where the number of first layer neurons is smaller than the dimension and the number of second layer neurons. These two results substantially improve state-of-the-art: Until our work, polynomial-time algorithms were only shown to learn from queries depth-two networks under the assumption that either the underlying distribution is Gaussian (Chen et al. (2021)) or that the weights matrix rows are linearly independent (Milli et al. (2019)). For depth three or more, there were no known poly-time results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google