CitySpec with Shield: A Secure Intelligent Assistant for Requirement Formalization

要約

タイトル：要件明確化のための安全な知的アシスタント「CitySpec with Shield」

要約：

– スマートシティで、リアルタイムの運営が安全かつパフォーマンス要件を満たすよう監視システムが増えている。
– しかし、多くの要件が不明確、不正確、または曖昧であるため、都市政策担当者が人間が指定した要件を監視システムに適用可能な形式に変換することに支援が必要である。
– この制限に対処するために、都市における要件の指定のための最初の知的アシスタントシステム「CitySpec」が開発された。
– CitySpecでは、異なる領域（例：交通とエネルギー）の100以上の都市から1,500以上の実世界の都市要件を収集し、都市固有の知識を抽出して、3,061の単語からなる都市語彙のデータセットを生成する。
– CitySpecは、翻訳モデルを構築して、合成要件を改良して、シールド付き検証の新しいオンライン学習フレームワークを開発することにより向上された。
– 実世界の都市要件に対する評価結果は、CitySpecが要件明確化の文レベルの精度を59.02％から86.64％に向上させ、新しい都市や新しい領域（例：シアトルの要件のF1スコアがオンライン学習により77.6％から93.75％に向上）に強い適応性を示したことを示している。
– シールド機能の強化後、CitySpecはほとんどの既知のテキストアドバーサリー入力に耐性を持っていることが実証された。
– CitySpecは、異なる領域に属する18人の参加者でテストされ、強い使いやすさと適応性、および悪意のある入力に対する堅牢性が示された。

要約(オリジナル)

An increasing number of monitoring systems have been developed in smart cities to ensure that the real-time operations of a city satisfy safety and performance requirements. However, many existing city requirements are written in English with missing, inaccurate, or ambiguous information. There is a high demand for assisting city policymakers in converting human-specified requirements to machine-understandable formal specifications for monitoring systems. To tackle this limitation, we build CitySpec, the first intelligent assistant system for requirement specification in smart cities. To create CitySpec, we first collect over 1,500 real-world city requirements across different domains (e.g., transportation and energy) from over 100 cities and extract city-specific knowledge to generate a dataset of city vocabulary with 3,061 words. We also build a translation model and enhance it through requirement synthesis and develop a novel online learning framework with shielded validation. The evaluation results on real-world city requirements show that CitySpec increases the sentence-level accuracy of requirement specification from 59.02% to 86.64%, and has strong adaptability to a new city and a new domain (e.g., the F1 score for requirements in Seattle increases from 77.6% to 93.75% with online learning). After the enhancement from the shield function, CitySpec is now immune to most known textual adversarial inputs (e.g., the attack success rate of DeepWordBug after the shield function is reduced to 0% from 82.73%). We test the CitySpec with 18 participants from different domains. CitySpec shows its strong usability and adaptability to different domains, and also its robustness to malicious inputs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI