Query languages for neural networks

要約

私たちは、宣言型言語を使用してニューラル ネットワーク モデルにクエリを実行することで、ニューラル ネットワーク モデルを解釈して理解するためのデータベースにヒントを得たアプローチの基礎を築きました。
この目的に向けて、一次ロジックに基づいたさまざまなクエリ言語を研究します。これらの言語は、主にニューラル ネットワーク モデルへのアクセスが異なります。
実数に対する一次論理は、当然のことながら、ネットワークをブラック ボックスとみなす言語を生成します。
ネットワークによって定義された入出力関数のみを照会できます。
これは本質的に、制約クエリ言語のアプローチです。
一方、ホワイトボックス言語は、ネットワークを重み付きグラフとして表示し、重み項の合計を使用して 1 次ロジックを拡張することによって取得できます。
後者のアプローチは本質的に SQL を抽象化したものです。
一般に、これから示すように、2 つのアプローチの表現力は比較にならないほど優れています。
ただし、自然な状況では、ホワイト ボックス アプローチがブラック ボックス アプローチを包含する可能性があります。
これが主な結果です。
固定数の隠れ層と区分線形活性化関数を備えたフィードフォワード ニューラル ネットワークによって定義可能な実関数に対する線形制約クエリの結果を具体的に証明します。

要約(オリジナル)

We lay the foundations for a database-inspired approach to interpreting and understanding neural network models by querying them using declarative languages. Towards this end we study different query languages, based on first-order logic, that mainly differ in their access to the neural network model. First-order logic over the reals naturally yields a language which views the network as a black box; only the input–output function defined by the network can be queried. This is essentially the approach of constraint query languages. On the other hand, a white-box language can be obtained by viewing the network as a weighted graph, and extending first-order logic with summation over weight terms. The latter approach is essentially an abstraction of SQL. In general, the two approaches are incomparable in expressive power, as we will show. Under natural circumstances, however, the white-box approach can subsume the black-box approach; this is our main result. We prove the result concretely for linear constraint queries over real functions definable by feedforward neural networks with a fixed number of hidden layers and piecewise linear activation functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google