On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex

要約

セマンティック解析は、自然言語の質問の意味の構造化された表現を構築することを目的とした手法です。
コードでトレーニングされた少数ショット言語モデルの最近の進歩は、ダウンストリーム タスクでトレーニングされた従来のユニモーダル言語モデルと比較して、これらの表現を生成する際の優れたパフォーマンスを実証しています。
これらの進歩にもかかわらず、既存の微調整されたニューラル セマンティック パーサーは、自然言語入力に対する敵対的な攻撃を受けやすくなっています。
小規模なセマンティック パーサーの堅牢性は、敵対的トレーニングによって強化できることが確立されていますが、このアプローチは、実質的な計算リソースと、ドメイン内のセマンティックに対する高価な人間の注釈の両方を必要とするため、現実世界のシナリオにおける大規模な言語モデルには適していません。
データの解析。
この論文は、コードの大規模なプロンプトベースの言語モデル \codex の敵対的ロバスト性に関する最初の実証的研究を提示します。
私たちの結果は、最先端の (SOTA) コード言語モデルが、慎重に作成された敵対的な例に対して脆弱であることを示しています。
この課題に対処するために、大量のラベル付きデータや重い計算リソースを必要とせずに堅牢性を向上させる方法を提案します。

要約(オリジナル)

Semantic parsing is a technique aimed at constructing a structured representation of the meaning of a natural-language question. Recent advancements in few-shot language models trained on code have demonstrated superior performance in generating these representations compared to traditional unimodal language models, which are trained on downstream tasks. Despite these advancements, existing fine-tuned neural semantic parsers are susceptible to adversarial attacks on natural-language inputs. While it has been established that the robustness of smaller semantic parsers can be enhanced through adversarial training, this approach is not feasible for large language models in real-world scenarios, as it requires both substantial computational resources and expensive human annotation on in-domain semantic parsing data. This paper presents the first empirical study on the adversarial robustness of a large prompt-based language model of code, \codex. Our results demonstrate that the state-of-the-art (SOTA) code-language models are vulnerable to carefully crafted adversarial examples. To address this challenge, we propose methods for improving robustness without the need for significant amounts of labeled data or heavy computational resources.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google