Multimodal Auto Validation For Self-Refinement in Web Agents

投稿日: 2024年10月14日 作成者: jarxiv

要約

世界がデジタル化するにつれ、複雑で単調なタスクを自動化できる Web エージェントは、ワークフローを合理化するために不可欠なものになりつつあります。
このペーパーでは、マルチモーダル検証と自己調整を通じて Web エージェントのパフォーマンスを向上させるアプローチを紹介します。
最先端の Agent-E Web 自動化フレームワークに基づいて、Web エージェントの自動検証に関するさまざまなモダリティ (テキスト、ビジョン) と階層の効果に関する包括的な研究を紹介します。
また、開発された自動検証ツールを使用した Web オートメーションの自己調整メカニズムも導入し、Web エージェントがワークフローの失敗を検出して自己修正できるようにします。
私たちの結果は、Agent-E (SOTA Web エージェント) の以前の最先端のパフォーマンスが大幅に向上し、WebVoyager ベンチマークのサブセットでタスク完了率が 76.2\% から 81.24\% に向上したことを示しています。
このホワイトペーパーで紹介したアプローチは、複雑な現実世界のシナリオにおいて、より信頼性の高いデジタル アシスタントへの道を開きます。

要約(オリジナル)

As our world digitizes, web agents that can automate complex and monotonous tasks are becoming essential in streamlining workflows. This paper introduces an approach to improving web agent performance through multi-modal validation and self-refinement. We present a comprehensive study of different modalities (text, vision) and the effect of hierarchy for the automatic validation of web agents, building upon the state-of-the-art Agent-E web automation framework. We also introduce a self-refinement mechanism for web automation, using the developed auto-validator, that enables web agents to detect and self-correct workflow failures. Our results show significant gains on Agent-E’s (a SOTA web agent) prior state-of-art performance, boosting task-completion rates from 76.2\% to 81.24\% on the subset of the WebVoyager benchmark. The approach presented in this paper paves the way for more reliable digital assistants in complex, real-world scenarios.

arxiv情報

著者 Ruhana Azam,Tamer Abuelsaad,Aditya Vempaty,Ashish Jagmohan
発行日 2024-10-11 15:42:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.SE | Multimodal Auto Validation For Self-Refinement in Web Agents はコメントを受け付けていません

Exploring the Design Space of Cognitive Engagement Techniques with AI-Generated Code for Enhanced Learning

投稿日: 2024年10月14日 作成者: jarxiv

要約

初心者プログラマーは、プログラミングの概念を学習するためのコードを生成するために大規模言語モデル (LLM) に依存することが増えています。
ただし、この相互作用は表面的な取り組みにつながり、学習者に学習しているかのような錯覚を与え、スキルの向上を妨げる可能性があります。
この問題に対処するために、私たちは体系的な設計調査を実施し、AI 生成コードとのより深い関与を促進することを目的とした 7 つの認知関与手法を開発しました。
この論文では、設計プロセス、最初の 7 つのテクニック、および被験者間研究 (N=82) の結果について説明します。
次に、上位のテクニックを繰り返し改良し、被験者内研究を通じてそれらをさらに評価しました (N=42)。
各手法によって生じる摩擦、学習者が AI 支援なしで同型タスクに概念を適用するのに役立つ有効性、学習者の認識されたコーディング能力と実際のコーディング能力を一致させる成功率を評価します。
最終的に、私たちの結果は最も効果的な手法を浮き彫りにしました。学習者を段階的な問題解決プロセスに導き、学習者が AI と対話的に対話し、対応するコードが明らかになる前に各段階で何をする必要があるかを指示するというものです。
。

要約(オリジナル)

Novice programmers are increasingly relying on Large Language Models (LLMs) to generate code for learning programming concepts. However, this interaction can lead to superficial engagement, giving learners an illusion of learning and hindering skill development. To address this issue, we conducted a systematic design exploration to develop seven cognitive engagement techniques aimed at promoting deeper engagement with AI-generated code. In this paper, we describe our design process, the initial seven techniques and results from a between-subjects study (N=82). We then iteratively refined the top techniques and further evaluated them through a within-subjects study (N=42). We evaluate the friction each technique introduces, their effectiveness in helping learners apply concepts to isomorphic tasks without AI assistance, and their success in aligning learners’ perceived and actual coding abilities. Ultimately, our results highlight the most effective technique: guiding learners through the step-by-step problem-solving process, where they engage in an interactive dialog with the AI, prompting what needs to be done at each stage before the corresponding code is revealed.

arxiv情報

著者 Majeed Kazemitabaar,Oliver Huang,Sangho Suh,Austin Z. Henley,Tovi Grossman
発行日 2024-10-11 15:49:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.HC | Exploring the Design Space of Cognitive Engagement Techniques with AI-Generated Code for Enhanced Learning はコメントを受け付けていません

Towards Cross-Lingual LLM Evaluation for European Languages

投稿日: 2024年10月14日 作成者: jarxiv

要約

大規模言語モデル (LLM) の台頭により、多数の言語やタスクにわたって自然言語処理に革命が起こりました。
ただし、複数のヨーロッパ言語にわたって一貫した意味のある方法で LLM のパフォーマンスを評価することは、特に多言語ベンチマークが不足しているため、依然として困難です。
ヨーロッパ言語に合わせた多言語評価アプローチを導入します。
当社では、広く使用されている 5 つのベンチマークの翻訳版を使用して、21 のヨーロッパ言語にわたる 40 の LLM の機能を評価しています。
私たちの貢献には、翻訳されたベンチマークの有効性の調査、さまざまな翻訳サービスの影響の評価、新しく作成されたデータセット (EU20-MMLU、EU20-HellaSwag、EU20-ARC、EU20-TruthfulQA、および EU20) を含む LLM の多言語評価フレームワークの提供が含まれます。
-GSM8K。
ベンチマークと結果は、多言語 LLM 評価におけるさらなる研究を促進するために一般に公開されます。

要約(オリジナル)

The rise of Large Language Models (LLMs) has revolutionized natural language processing across numerous languages and tasks. However, evaluating LLM performance in a consistent and meaningful way across multiple European languages remains challenging, especially due to the scarcity of multilingual benchmarks. We introduce a cross-lingual evaluation approach tailored for European languages. We employ translated versions of five widely-used benchmarks to assess the capabilities of 40 LLMs across 21 European languages. Our contributions include examining the effectiveness of translated benchmarks, assessing the impact of different translation services, and offering a multilingual evaluation framework for LLMs that includes newly created datasets: EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA, and EU20-GSM8K. The benchmarks and results are made publicly available to encourage further research in multilingual LLM evaluation.

arxiv情報

著者 Klaudia Thellmann,Bernhard Stadler,Michael Fromm,Jasper Schulze Buschhoff,Alex Jude,Fabio Barth,Johannes Leveling,Nicolas Flores-Herr,Joachim Köhler,René Jäkel,Mehdi Ali
発行日 2024-10-11 15:53:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Towards Cross-Lingual LLM Evaluation for European Languages はコメントを受け付けていません

Streaming Diffusion Policy: Fast Policy Synthesis with Variable Noise Diffusion Models

投稿日: 2024年10月14日 作成者: jarxiv

要約

普及モデルはロボットの模倣学習に急速に採用され、複雑な器用なタスクの自律的な実行を可能にします。
ただし、アクションの合成は遅くなることが多く、反復的なノイズ除去の多くのステップが必要となるため、高速な反応性ポリシーを必要とするタスクでモデルを使用できる範囲が制限されます。
これを回避するために、最近の研究では、政策の合成を加速するために拡散プロセスの蒸留をどのように使用できるかを調査しました。
ただし、蒸留は計算コストが高く、合成されたアクションの精度と多様性の両方に悪影響を与える可能性があります。
私たちは、部分的にノイズ除去されたアクション軌跡を生成する方が、完全な出力アクション軌跡よりも大幅に高速であるという洞察を活用して、ポリシー合成を加速する代替方法である SDP (ストリーミング拡散ポリシー) を提案します。
観測ごとに、私たちのアプローチは、さまざまなレベルのノイズ破損を伴う部分的にノイズが除去されたアクション軌跡を出力します。ここで、すぐに実行されるアクションにはノイズがありませんが、後続のアクションではノイズと不確実性のレベルが増加します。
以前に予測されたノイズの多い行動軌跡 (1 タイムステップずつロールオーバー) にノイズ除去のいくつかのステップを適用することで、新しい観測に対する部分的にノイズ除去された行動軌跡を迅速に生成できます。
シミュレーション設定と現実世界の設定の両方でパフォーマンスを維持しながら、ポリシー合成を劇的に高速化するこのアプローチの有効性を説明します。

要約(オリジナル)

Diffusion models have seen rapid adoption in robotic imitation learning, enabling autonomous execution of complex dexterous tasks. However, action synthesis is often slow, requiring many steps of iterative denoising, limiting the extent to which models can be used in tasks that require fast reactive policies. To sidestep this, recent works have explored how the distillation of the diffusion process can be used to accelerate policy synthesis. However, distillation is computationally expensive and can hurt both the accuracy and diversity of synthesized actions. We propose SDP (Streaming Diffusion Policy), an alternative method to accelerate policy synthesis, leveraging the insight that generating a partially denoised action trajectory is substantially faster than a full output action trajectory. At each observation, our approach outputs a partially denoised action trajectory with variable levels of noise corruption, where the immediate action to execute is noise-free, with subsequent actions having increasing levels of noise and uncertainty. The partially denoised action trajectory for a new observation can then be quickly generated by applying a few steps of denoising to the previously predicted noisy action trajectory (rolled over by one timestep). We illustrate the efficacy of this approach, dramatically speeding up policy synthesis while preserving performance across both simulated and real-world settings.

arxiv情報

著者 Sigmund H. Høeg,Yilun Du,Olav Egeland
発行日 2024-10-11 16:04:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Streaming Diffusion Policy: Fast Policy Synthesis with Variable Noise Diffusion Models はコメントを受け付けていません

Maximizing the Potential of Synthetic Data: Insights from Random Matrix Theory

投稿日: 2024年10月14日 作成者: jarxiv

要約

合成データは大規模な言語モデルをトレーニングするために注目を集めていますが、低品質のデータはパフォーマンスに悪影響を及ぼす可能性があります (例: Shumailov et al. (2023); Seddik et al. (2024) を参照)。
潜在的な解決策は、スコア関数 (人間または機械のフィードバック) に基づいて高品質のデータのみを保持するデータ プルーニングです。
前の研究 Feng et al。
(2024) サンプルサイズが増加するにつれて、合成データでトレーニングされたモデルを分析しました。
ランダム行列理論を使用してこれを拡張し、高次元設定で実際のデータとプルーニングされた合成データの混合でトレーニングされたバイナリ分類器のパフォーマンスを導き出します。
私たちの調査結果では、生成モデルと検証戦略の品質に焦点を当て、合成データがパフォーマンスを向上させる可能性がある条件を特定しました。
また、無限のサンプル制限における以前の鋭い動作とは対照的に、合成ラベル ノイズにおける滑らかな位相遷移も示します。
おもちゃのモデルと大規模な言語モデルを使った実験により、理論的な結果が検証されます。

要約(オリジナル)

Synthetic data has gained attention for training large language models, but poor-quality data can harm performance (see, e.g., Shumailov et al. (2023); Seddik et al. (2024)). A potential solution is data pruning, which retains only high-quality data based on a score function (human or machine feedback). Previous work Feng et al. (2024) analyzed models trained on synthetic data as sample size increases. We extend this by using random matrix theory to derive the performance of a binary classifier trained on a mix of real and pruned synthetic data in a high dimensional setting. Our findings identify conditions where synthetic data could improve performance, focusing on the quality of the generative model and verification strategy. We also show a smooth phase transition in synthetic label noise, contrasting with prior sharp behavior in infinite sample limits. Experiments with toy models and large language models validate our theoretical results.

arxiv情報

著者 Aymane El Firdoussi,Mohamed El Amine Seddik,Soufiane Hayou,Reda Alami,Ahmed Alzubaidi,Hakim Hacid
発行日 2024-10-11 16:09:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, math.ST, stat.TH | Maximizing the Potential of Synthetic Data: Insights from Random Matrix Theory はコメントを受け付けていません

The Dynamics of Social Conventions in LLM populations: Spontaneous Emergence, Collective Biases and Tipping Points

投稿日: 2024年10月14日 作成者: jarxiv

要約

社会的慣習は社会的および経済的生活の基盤です。
多数の AI エージェントが相互に、また人間との交流が増えるにつれ、共通の慣例を形成する彼らの能力が、AI エージェントがいかに効果的に行動を調整し、社会に統合し、影響を与えるかを決定します。
ここでは、シミュレートされたインタラクションを使用して、大規模言語モデル (LLM) エージェントの母集団内の慣習のダイナミクスを調査します。
まず、世界的に受け入れられている社会的慣習が、通信する LLM 間のローカルな相互作用から自然発生的に発生する可能性があることを示します。
第二に、個々のエージェントには偏見がないように見える場合でも、このプロセス中に集団としての強いバイアスがどのように現れる可能性があるかを示します。
第三に、献身的なLLMの少数派グループが新しい社会慣習を確立することによってどのように社会変革を推進できるかを検討します。
私たちは、これらの少数派グループが臨界的な規模に達すると、確立された行動を一貫して覆すことができることを示します。
いずれの場合も、実験結果を最小限のマルチエージェント モデルからの予測と対比することで、LLM エージェントの特定の役割を分離することができます。
私たちの結果は、AI システムが明示的なプログラミングを行わずにどのように自律的に規範を開発できるかを明らかにし、人間の価値観や社会目標に沿った AI システムの設計に影響を与えます。

要約(オリジナル)

Social conventions are the foundation for social and economic life. As legions of AI agents increasingly interact with each other and with humans, their ability to form shared conventions will determine how effectively they will coordinate behaviors, integrate into society and influence it. Here, we investigate the dynamics of conventions within populations of Large Language Model (LLM) agents using simulated interactions. First, we show that globally accepted social conventions can spontaneously arise from local interactions between communicating LLMs. Second, we demonstrate how strong collective biases can emerge during this process, even when individual agents appear to be unbiased. Third, we examine how minority groups of committed LLMs can drive social change by establishing new social conventions. We show that once these minority groups reach a critical size, they can consistently overturn established behaviors. In all cases, contrasting the experimental results with predictions from a minimal multi-agent model allows us to isolate the specific role of LLM agents. Our results clarify how AI systems can autonomously develop norms without explicit programming and have implications for designing AI systems that align with human values and societal goals.

arxiv情報

著者 Ariel Flint Ashery,Luca Maria Aiello,Andrea Baronchelli
発行日 2024-10-11 16:16:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY, cs.MA, physics.soc-ph | The Dynamics of Social Conventions in LLM populations: Spontaneous Emergence, Collective Biases and Tipping Points はコメントを受け付けていません

Meta-Transfer Learning Empowered Temporal Graph Networks for Cross-City Real Estate Appraisal

投稿日: 2024年10月14日 作成者: jarxiv

要約

不動産評価は、不動産取引、投資分析、不動産課税などのさまざまな取り組みにとって重要です。
最近、ディープラーニングは、Web プラットフォームからの大量のオンライン取引データを活用することにより、不動産評価に大きな期待を寄せています。
それにもかかわらず、ディープラーニングは大量のデータを必要とするため、データが限られている巨大な小規模都市には簡単には適用できない可能性があります。
この目的を達成するために、私たちは、評価パフォーマンスを向上させるために、データが豊富な複数の大都市からデータが不足している都市に貴重な知識を転送する、メタ転送学習強化型時間グラフ ネットワーク (MetaTransfer) を提案します。
具体的には、関連する住宅コミュニティとの成長を続ける不動産取引を時間イベント異種グラフとしてモデル化することで、まずイベントトリガー型時間グラフネットワークを設計し、進化する不動産取引間の不規則な時空間相関をモデル化します。
さらに、都市全体の不動産評価をマルチタスクの動的グラフリンクラベル予測問題として定式化し、都市内の各コミュニティの評価を個別のタスクと見なします。
ハイパーネットワークベースのマルチタスク学習モジュールは、複数のコミュニティ間での都市内の知識共有と、コミュニティごとの不動産価格分布に対応するタスク固有のパラメータ生成を同時に促進するために提案されています。
さらに、複数のソース都市からのトレーニング トランザクション インスタンスの重み付けを適応的に再調整して負の移転を軽減し、都市間の知識移転の効率を向上させる、トライレベル最適化ベースのメタ学習フレームワークを提案します。
最後に、5 つの現実世界のデータセットに基づく広範な実験により、11 のベースライン アルゴリズムと比較して MetaTransfer が大幅に優れていることが実証されました。

要約(オリジナル)

Real estate appraisal is important for a variety of endeavors such as real estate deals, investment analysis, and real property taxation. Recently, deep learning has shown great promise for real estate appraisal by harnessing substantial online transaction data from web platforms. Nonetheless, deep learning is data-hungry, and thus it may not be trivially applicable to enormous small cities with limited data. To this end, we propose Meta-Transfer Learning Empowered Temporal Graph Networks (MetaTransfer) to transfer valuable knowledge from multiple data-rich metropolises to the data-scarce city to improve valuation performance. Specifically, by modeling the ever-growing real estate transactions with associated residential communities as a temporal event heterogeneous graph, we first design an Event-Triggered Temporal Graph Network to model the irregular spatiotemporal correlations between evolving real estate transactions. Besides, we formulate the city-wide real estate appraisal as a multi-task dynamic graph link label prediction problem, where the valuation of each community in a city is regarded as an individual task. A Hypernetwork-Based Multi-Task Learning module is proposed to simultaneously facilitate intra-city knowledge sharing between multiple communities and task-specific parameters generation to accommodate the community-wise real estate price distribution. Furthermore, we propose a Tri-Level Optimization Based Meta- Learning framework to adaptively re-weight training transaction instances from multiple source cities to mitigate negative transfer, and thus improve the cross-city knowledge transfer effectiveness. Finally, extensive experiments based on five real-world datasets demonstrate the significant superiority of MetaTransfer compared with eleven baseline algorithms.

arxiv情報

著者 Weijia Zhang,Jindong Han,Hao Liu,Wei Fan,Hao Wang,Hui Xiong
発行日 2024-10-11 16:16:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Meta-Transfer Learning Empowered Temporal Graph Networks for Cross-City Real Estate Appraisal はコメントを受け付けていません

Transferable Belief Model on Quantum Circuits

投稿日: 2024年10月14日 作成者: jarxiv

要約

デンプスター・シェーファー理論の意味論的解釈としての移転可能な信念モデルにより、エージェントは不正確で不完全な環境で推論と意思決定を行うことができます。
このモデルは、信頼性の低い証言を処理するための明確なセマンティクスを提供し、ベイジアン アプローチと比較して、より合理的かつ一般的な信念伝達のプロセスを可能にします。
しかし、信念関数を更新する際には信念の質量と焦点集合の構造の両方を考慮する必要があるため、推論中の計算が余分に複雑になるため、最近の開発では、転送可能な信念モデルは研究者の間で徐々に支持を失っています。
この論文では、転送可能な信念モデルを量子回路に実装し、信念関数が量子コンピューティングのフレームワーク内でベイジアンアプローチに代わるより簡潔で効果的な代替手段を提供することを実証します。
さらに、量子コンピューティングのユニークな特性を活用して、いくつかの新しい信念伝達アプローチを提案します。
より広範に、この論文は量子 AI モデルの基本情報表現に関する新しい視点を導入し、量子回路上の不確実性を処理するにはベイジアン アプローチよりも信念関数の方が適していることを示唆しています。

要約(オリジナル)

The transferable belief model, as a semantic interpretation of Dempster-Shafer theory, enables agents to perform reasoning and decision making in imprecise and incomplete environments. The model offers distinct semantics for handling unreliable testimonies, allowing for a more reasonable and general process of belief transfer compared to the Bayesian approach. However, because both the belief masses and the structure of focal sets must be considered when updating belief functions-leading to extra computational complexity during reasoning-the transferable belief model has gradually lost favor among researchers in recent developments. In this paper, we implement the transferable belief model on quantum circuits and demonstrate that belief functions offer a more concise and effective alternative to Bayesian approaches within the quantum computing framework. Furthermore, leveraging the unique characteristics of quantum computing, we propose several novel belief transfer approaches. More broadly, this paper introduces a new perspective on basic information representation for quantum AI models, suggesting that belief functions are more suitable than Bayesian approach for handling uncertainty on quantum circuits.

arxiv情報

著者 Qianli Zhou,Hao Luo,Lipeng Pan,Yong Deng,Eloi Bosse
発行日 2024-10-11 16:17:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, quant-ph | Transferable Belief Model on Quantum Circuits はコメントを受け付けていません

On the Adversarial Transferability of Generalized ‘Skip Connections’

投稿日: 2024年10月14日 作成者: jarxiv

要約

スキップ接続は、最新のディープ モデルをより深く、より強力にするために不可欠な要素です。
通常のシナリオ (自然な例に対する最先端の分類パフォーマンス) では大成功を収めているにもかかわらず、敵対的シナリオにおけるスキップ接続の興味深い特性を調査し、特定しました。つまり、スキップ接続を使用すると、転送性の高い敵対的シナリオを簡単に生成できるということです。
例。
具体的には、ResNet のようなモデル (スキップ接続を使用) では、バックプロパゲーション中の減衰係数に応じて残差モジュールではなくスキップ接続からの勾配を多く使用することで、高い伝達性を備えた敵対的なサンプルを作成できることがわかりました。
上記の方法はスキップ勾配法 (SGM) と呼ばれます。
ビジョン ドメインの ResNet のようなモデルから出発していますが、SGM をさらに拡張し、ビジョン トランスフォーマー (ViT) や長さが変化するパスを持つモデルや他のドメイン (自然言語処理など) を含む、より高度なアーキテクチャに拡張します。
ResNets、Transformers、Inceptions、Neural Architecture Search、Large Language Model (LLM) などのさまざまなモデルに対して包括的な転送攻撃を実行します。
SGM を採用すると、ほぼすべてのケースで、巧妙に作られた攻撃の伝達可能性が大幅に向上することがわかります。
さらに、実際の使用には大きな複雑性があることを考慮して、SGM がモデルのアンサンブルや標的型攻撃での転送性や現在の防御に対するステルス性も向上できることをさらに実証します。
最後に、SGM がどのように機能するかについて理論的な説明と経験的な洞察を提供します。
私たちの発見は、モデルのアーキテクチャ特性についての新たな敵対的研究の動機となるだけでなく、安全なモデル アーキテクチャ設計に対するさらなる課題を切り開くものでもあります。
コードは https://github.com/mo666666/SGM で入手できます。

要約(オリジナル)

Skip connection is an essential ingredient for modern deep models to be deeper and more powerful. Despite their huge success in normal scenarios (state-of-the-art classification performance on natural examples), we investigate and identify an interesting property of skip connections under adversarial scenarios, namely, the use of skip connections allows easier generation of highly transferable adversarial examples. Specifically, in ResNet-like models (with skip connections), we find that using more gradients from the skip connections rather than the residual modules according to a decay factor during backpropagation allows one to craft adversarial examples with high transferability. The above method is termed as Skip Gradient Method (SGM). Although starting from ResNet-like models in vision domains, we further extend SGM to more advanced architectures, including Vision Transformers (ViTs) and models with length-varying paths and other domains, i.e. natural language processing. We conduct comprehensive transfer attacks against various models including ResNets, Transformers, Inceptions, Neural Architecture Search, and Large Language Models (LLMs). We show that employing SGM can greatly improve the transferability of crafted attacks in almost all cases. Furthermore, considering the big complexity for practical use, we further demonstrate that SGM can even improve the transferability on ensembles of models or targeted attacks and the stealthiness against current defenses. At last, we provide theoretical explanations and empirical insights on how SGM works. Our findings not only motivate new adversarial research into the architectural characteristics of models but also open up further challenges for secure model architecture design. Our code is available at https://github.com/mo666666/SGM.

arxiv情報

著者 Yisen Wang,Yichuan Mo,Dongxian Wu,Mingjie Li,Xingjun Ma,Zhouchen Lin
発行日 2024-10-11 16:17:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | On the Adversarial Transferability of Generalized ‘Skip Connections’ はコメントを受け付けていません

PostMark: A Robust Blackbox Watermark for Large Language Models

投稿日: 2024年10月14日 作成者: jarxiv

要約

LLM で生成されたテキストを検出する最も効果的な手法は、モデルのデコード プロセス中に検出可能な署名 (または透かし) を挿入することに依存しています。
既存の透かし手法のほとんどは、基礎となる LLM のロジットへのアクセスを必要としますが、LLM API プロバイダーはモデルの蒸留を恐れてそのロジットを共有することを嫌がります。
したがって、これらのウォーターマークは、各 LLM プロバイダーが個別に実装する必要があります。
この論文では、PostMark を開発します。PostMark は、復号化プロセスが完了した後に、入力に依存する単語のセット (意味埋め込みによって決定される) がテキストに挿入されるモジュール式ポストホック電子透かし手順です。
重要なことは、PostMark はロジット アクセスを必要としないため、サードパーティが実装できることを意味します。
また、PostMark が既存の電子透かし手法よりも言い換え攻撃に対して堅牢であることも示します。実験では、8 つのベースライン アルゴリズム、5 つのベース LLM、および 3 つのデータセットがカバーされています。
最後に、自動評価と人間による評価の両方を使用して PostMark がテキスト品質に及ぼす影響を評価し、品質と言い換えに対する堅牢性の間のトレードオフを強調します。
コード、出力、および注釈は https://github.com/lilakk/PostMark でリリースされます。

要約(オリジナル)

The most effective techniques to detect LLM-generated text rely on inserting a detectable signature — or watermark — during the model’s decoding process. Most existing watermarking methods require access to the underlying LLM’s logits, which LLM API providers are loath to share due to fears of model distillation. As such, these watermarks must be implemented independently by each LLM provider. In this paper, we develop PostMark, a modular post-hoc watermarking procedure in which an input-dependent set of words (determined via a semantic embedding) is inserted into the text after the decoding process has completed. Critically, PostMark does not require logit access, which means it can be implemented by a third party. We also show that PostMark is more robust to paraphrasing attacks than existing watermarking methods: our experiments cover eight baseline algorithms, five base LLMs, and three datasets. Finally, we evaluate the impact of PostMark on text quality using both automated and human assessments, highlighting the trade-off between quality and robustness to paraphrasing. We release our code, outputs, and annotations at https://github.com/lilakk/PostMark.

arxiv情報

著者 Yapei Chang,Kalpesh Krishna,Amir Houmansadr,John Wieting,Mohit Iyyer
発行日 2024-10-11 16:19:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CR, cs.LG | PostMark: A Robust Blackbox Watermark for Large Language Models はコメントを受け付けていません