Effective Black Box Testing of Sentiment Analysis Classification Networks

要約

トランスフォーマーベースのニューラル ネットワークは、感情分析などの自然言語処理タスクで顕著なパフォーマンスを実証しています。
それにもかかわらず、包括的なテストを通じてこれらの複雑なアーキテクチャの信頼性を確保するという問題はまだ解決されていません。
このペーパーでは、トランスフォーマーベースのセンチメント分析ネットワーク用に作成されたテスト スイートを評価するために特別に設計されたカバレッジ基準のコレクションを示します。
私たちのアプローチは、動詞、形容詞、副詞、名詞などの感情的に関連する言語特徴を考慮することにより、ブラックボックス手法である入力空間分割を利用します。
幅広い感情的要素を含むテスト ケースを効果的に作成するために、k 投影カバレッジ メトリックを利用します。
このメトリックは、k 個の特徴のサブセットを同時に検査することで問題の複雑さを最小限に抑え、次元を削減します。
大規模な言語モデルを使用して、感情的特徴の特定の組み合わせを表示する文章を生成します。
センチメント分析データセットから得られた実験結果は、私たちの基準と生成されたテストにより、テスト カバレッジが平均 16\% 増加したことを示しています。
さらに、これに対応してモデルの精度も平均 6.5% 低下しており、脆弱性を特定できることがわかります。
私たちの取り組みは、包括的なテスト評価を通じて、トランスベースのセンチメント分析システムの信頼性を向上させるための基盤を提供します。

要約(オリジナル)

Transformer-based neural networks have demonstrated remarkable performance in natural language processing tasks such as sentiment analysis. Nevertheless, the issue of ensuring the dependability of these complicated architectures through comprehensive testing is still open. This paper presents a collection of coverage criteria specifically designed to assess test suites created for transformer-based sentiment analysis networks. Our approach utilizes input space partitioning, a black-box method, by considering emotionally relevant linguistic features such as verbs, adjectives, adverbs, and nouns. In order to effectively produce test cases that encompass a wide range of emotional elements, we utilize the k-projection coverage metric. This metric minimizes the complexity of the problem by examining subsets of k features at the same time, hence reducing dimensionality. Large language models are employed to generate sentences that display specific combinations of emotional features. The findings from experiments obtained from a sentiment analysis dataset illustrate that our criteria and generated tests have led to an average increase of 16\% in test coverage. In addition, there is a corresponding average decrease of 6.5\% in model accuracy, showing the ability to identify vulnerabilities. Our work provides a foundation for improving the dependability of transformer-based sentiment analysis systems through comprehensive test evaluation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google