On the verification of Embeddings using Hybrid Markov Logic

要約

ディープ ニューラル ネットワークによって学習された表現を検証する標準的なアプローチは、分類や回帰などの特定のタスクで表現を使用し、そのようなタスクの精度に基づいてパフォーマンスを測定することです。
ただし、多くの場合、学習された表現のより複雑なプロパティを検証する必要があります。
これを行うために、私たちは確率的一次言語に基づくフレームワーク、つまりハイブリッド マルコフ ロジック ネットワーク (HMLN) を提案します。このフレームワークでは、記号領域の知識と混合した埋め込み上のプロパティを指定します。
このフレームワーク内でプロパティのパラメーターを学習するアプローチを紹介します。
さらに、このタスクを混合整数線形計画としてエンコードすることで、このフレームワークへの埋め込みをテストするための検証方法を開発します。これには、既存の最先端のソルバーを利用できます。
私たちのアプローチの一般性を示すために、グラフ ニューラル ネットワーク、深い知識のトレース、およびインテリジェントな個別指導システムでの検証を示します。

要約(オリジナル)

The standard approach to verify representations learned by Deep Neural Networks is to use them in specific tasks such as classification or regression, and measure their performance based on accuracy in such tasks. However, in many cases, we would want to verify more complex properties of a learned representation. To do this, we propose a framework based on a probabilistic first-order language, namely, Hybrid Markov Logic Networks (HMLNs) where we specify properties over embeddings mixed with symbolic domain knowledge. We present an approach to learn parameters for the properties within this framework. Further, we develop a verification method to test embeddings in this framework by encoding this task as a Mixed Integer Linear Program for which we can leverage existing state-of-the-art solvers. We illustrate verification in Graph Neural Networks, Deep Knowledge Tracing and Intelligent Tutoring Systems to demonstrate the generality of our approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google