NLP Verification: Towards a General Methodology for Certifying Robustness

要約

機械学習（ML）は、自然言語処理の分野（NLP）で大成功を収めています。
たとえば、大規模な言語モデルは、高い複雑さと凝集のテキストを作成できることが経験的に証明されています。
しかし、彼らは不正確さと幻覚を起こしやすいです。
これらのシステムは実際のアプリケーションにますます統合されているため、安全性と信頼性が主な関心事になるようにします。
そのようなモデルが変動または攻撃に対して堅牢であり、その出力を保証する必要がある安全性の重要なコンテキストがあります。
コンピュータービジョンは、このようなシナリオに対するニューラルネットワークの正式な検証の使用を開拓し、一般的な検証基準とパイプラインを開発し、データマニホールドの幾何学的特性に関する正確な正式な推論を活用しました。
対照的に、NLP検証方法は最近文献に登場しました。
洗練されたアルゴリズムを提示している間、これらの論文はまだ共通の方法論に結晶化していません。
それらはしばしばNLP検証の実用的な問題に軽いものであり、その領域は断片化されたままです。
この論文では、これまでの現場の進歩から生じるNLP検証パイプラインの一般的なコンポーネントを蒸留して評価しようとします。
私たちの貢献は2つあります。
まず、埋め込みギャップの効果を分析するための一般的な方法論を提案します。これは、幾何学的な部分空間の検証と幾何学的サブスペースが表すと思われる文の意味的な意味との矛盾を指す問題です。
埋め込みギャップの影響を定量化するのに役立つ多くの実用的なNLPメソッドを提案します。
第二に、埋め込み空間での文のセマンティックな類似性のより正確な幾何学的推定を活用し、実際の埋め込みギャップの影響を克服するのに役立つ神経ネットワークのトレーニングと検証のための一般的な方法を提供します。

要約(オリジナル)

Machine Learning (ML) has exhibited substantial success in the field of Natural Language Processing (NLP). For example large language models have empirically proven to be capable of producing text of high complexity and cohesion. However, they are prone to inaccuracies and hallucinations. As these systems are increasingly integrated into real-world applications, ensuring their safety and reliability becomes a primary concern. There are safety critical contexts where such models must be robust to variability or attack, and give guarantees over their output. Computer Vision had pioneered the use of formal verification of neural networks for such scenarios and developed common verification standards and pipelines, leveraging precise formal reasoning about geometric properties of data manifolds. In contrast, NLP verification methods have only recently appeared in the literature. While presenting sophisticated algorithms, these papers have not yet crystallised into a common methodology. They are often light on the pragmatical issues of NLP verification and the area remains fragmented. In this paper, we attempt to distil and evaluate general components of an NLP verification pipeline, that emerges from the progress in the field to date. Our contributions are two-fold. Firstly, we propose a general methodology to analyse the effect of the embedding gap, a problem that refers to the discrepancy between verification of geometric subspaces and the semantic meaning of sentences, which the geometric subspaces are supposed to represent. We propose a number of practical NLP methods that can help to quantify the effects of the embedding gap. Secondly, we give a general method for training and verification of neural networks that leverages a more precise geometric estimation of semantic similarity of sentences in the embedding space and helps to overcome the effects of the embedding gap in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google