NLP Verification: Towards a General Methodology for Certifying Robustness

要約

ディープ ニューラル ネットワークは自然言語処理 (NLP) の分野で大きな成功を収めており、その安全性と信頼性を確保することが極めて重要です。そのようなモデルが変動性や攻撃に対して堅牢であり、その出力を保証する必要がある安全性が重要な状況があります。
コンピューター ビジョンとは異なり、NLP には統一された検証方法論が欠けており、最近の文献の進歩にも関わらず、NLP 検証の実際的な問題については軽視されていることがよくあります。
このペーパーでは、これまでのこの分野の進歩から浮かび上がった NLP 検証パイプラインの一般的なコンポーネントを抽出して評価することを試みます。
私たちの貢献は 2 つあります。
まず、連続空間に文を埋め込むことで得られる検証可能な部分空間の一般的な特徴を示します。
私たちは、検証された部分空間の意味論的一般化という技術的課題を特定し、それに対処するための効果的な方法を提供します。
そして、それを NLP 検証パイプラインの標準メトリックとして (モデルの精度とモデルの検証可能性の標準メトリックとともに) 提案します。
第二に、埋め込みギャップの影響を分析するための一般的な方法論を提案します。この問題は、一方では幾何学的部分空間の検証と、他方では幾何学的部分空間が表すと考えられている文の意味論的な意味との間の不一致を指します。
手。
極端な場合には、文の埋め込みの選択が不適切な場合、検証結果が無効になる可能性があります。
私たちは、埋め込みギャップの影響を特定するのに役立つ実用的な NLP 手法を多数提案します。
そして特に、NLP 検証パイプラインの一部として報告されるもう 1 つの基本的な指標として、意味論的部分空間の反証可能性の指標を提案します。
私たちは、これらの一般原則がこの新しい領域のより統合された効果的な開発への道を開くと信じています。

要約(オリジナル)

Deep neural networks have exhibited substantial success in the field of Natural Language Processing (NLP) and ensuring their safety and reliability is crucial: there are safety critical contexts where such models must be robust to variability or attack, and give guarantees over their output. Unlike Computer Vision, NLP lacks a unified verification methodology and, despite recent advancements in literature, they are often light on the pragmatical issues of NLP verification. In this paper, we make an attempt to distil and evaluate general components of an NLP verification pipeline, that emerges from the progress in the field to date. Our contributions are two-fold. Firstly, we give a general characterisation of verifiable subspaces that result from embedding sentences into continuous spaces. We identify, and give an effective method to deal with, the technical challenge of semantic generalisability of verified subspaces; and propose it as a standard metric in the NLP verification pipelines (alongside with the standard metrics of model accuracy and model verifiability). Secondly, we propose a general methodology to analyse the effect of the embedding gap, a problem that refers to the discrepancy between verification of geometric subpspaces on the one hand, and semantic meaning of sentences which the geometric subspaces are supposed to represent, on the other hand. In extreme cases, poor choices in embedding of sentences may invalidate verification results. We propose a number of practical NLP methods that can help to identify the effects of the embedding gap; and in particular we propose the metric of falsifiability of semantic subpspaces as another fundamental metric to be reported as part of the NLP verification pipeline. We believe that together these general principles pave the way towards a more consolidated and effective development of this new domain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google