DR-MPC: Deep Residual Model Predictive Control for Real-world Social Navigation

投稿日: 2024年10月15日 作成者: jarxiv

要約

複雑な動作パターンを示す人々の周りをロボットはどのようにして安全に移動できるのでしょうか?
シミュレーションにおける強化学習 (RL) またはディープ RL (DRL) にはある程度の有望性がありますが、これまでの研究の多くはシミュレーターに依存しており、実際の人間の動きのニュアンスを正確に捉えることができませんでした。
このギャップに対処するために、私たちは、ロボットが現実世界の群衆ナビゲーション データから DRL を迅速かつ安全に実行できるようにする方法である、深層残差モデル予測制御 (DR-MPC) を提案します。
MPC とモデルフリー DRL を融合することで、DR-MPC は、大規模なデータ要件と安全でない初期動作という従来の DRL の課題を克服します。
DR-MPC は MPC ベースのパス追跡で初期化され、徐々に人間とより効果的に対話することを学習します。
学習をさらに加速するために、安全コンポーネントは、ロボットが分布外の状態に遭遇する時期を予測し、衝突の可能性を回避します。
シミュレーションでは、DR-MPC が従来の DRL モデルや残留 DRL モデルを含む以前の研究よりも大幅に優れていることを示しています。
実際の実験では、私たちのアプローチが、4 時間未満のトレーニング データを使用して、ロボットがさまざまな混雑した状況をほとんどエラーなくナビゲートできることを示しています。

要約(オリジナル)

How can a robot safely navigate around people exhibiting complex motion patterns? Reinforcement Learning (RL) or Deep RL (DRL) in simulation holds some promise, although much prior work relies on simulators that fail to precisely capture the nuances of real human motion. To address this gap, we propose Deep Residual Model Predictive Control (DR-MPC), a method to enable robots to quickly and safely perform DRL from real-world crowd navigation data. By blending MPC with model-free DRL, DR-MPC overcomes the traditional DRL challenges of large data requirements and unsafe initial behavior. DR-MPC is initialized with MPC-based path tracking, and gradually learns to interact more effectively with humans. To further accelerate learning, a safety component estimates when the robot encounters out-of-distribution states and guides it away from likely collisions. In simulation, we show that DR-MPC substantially outperforms prior work, including traditional DRL and residual DRL models. Real-world experiments show our approach successfully enables a robot to navigate a variety of crowded situations with few errors using less than 4 hours of training data.

arxiv情報

著者 James R. Han,Hugues Thomas,Jian Zhang,Nicholas Rhinehart,Timothy D. Barfoot
発行日 2024-10-14 15:56:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | DR-MPC: Deep Residual Model Predictive Control for Real-world Social Navigation はコメントを受け付けていません

Generative AI and Its Impact on Personalized Intelligent Tutoring Systems

投稿日: 2024年10月15日 作成者: jarxiv

要約

生成人工知能 (AI) は、インテリジェント個別指導システム (ITS) 内で高度にパーソナライズされた適応型の学習環境を可能にすることで、教育テクノロジーに革命をもたらしています。
このレポートでは、動的なコンテンツ生成、リアルタイムのフィードバック、適応学習経路を通じて個別化された教育を強化するための、生成 AI、特に GPT-4 のような大規模言語モデル (LLM) の ITS への統合について詳しく説明します。
自動質問生成、カスタマイズされたフィードバック メカニズム、個々の学習者のニーズに応える対話型対話システムなどの主要なアプリケーションを調査します。
このレポートでは、教育上の正確さの確保、AI モデルに固有のバイアスの軽減、学習者のエンゲージメントの維持などの重要な課題にも取り組んでいます。
将来の方向性では、マルチモーダルな AI 統合、個別指導システムにおける心の知能指数、および AI 主導の教育の倫理的影響における潜在的な進歩が強調されています。
このレポートは、現在の研究と実際の実装を統合することにより、より効果的で公平で魅力的な教育体験を生み出す上での生成 AI の変革の可能性を強調しています。

要約(オリジナル)

Generative Artificial Intelligence (AI) is revolutionizing educational technology by enabling highly personalized and adaptive learning environments within Intelligent Tutoring Systems (ITS). This report delves into the integration of Generative AI, particularly large language models (LLMs) like GPT-4, into ITS to enhance personalized education through dynamic content generation, real-time feedback, and adaptive learning pathways. We explore key applications such as automated question generation, customized feedback mechanisms, and interactive dialogue systems that respond to individual learner needs. The report also addresses significant challenges, including ensuring pedagogical accuracy, mitigating inherent biases in AI models, and maintaining learner engagement. Future directions highlight the potential advancements in multimodal AI integration, emotional intelligence in tutoring systems, and the ethical implications of AI-driven education. By synthesizing current research and practical implementations, this report underscores the transformative potential of Generative AI in creating more effective, equitable, and engaging educational experiences.

arxiv情報

著者 Subhankar Maity,Aniket Deroy
発行日 2024-10-14 16:01:01+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Generative AI and Its Impact on Personalized Intelligent Tutoring Systems はコメントを受け付けていません

Double Jeopardy and Climate Impact in the Use of Large Language Models: Socio-economic Disparities and Reduced Utility for Non-English Speakers

投稿日: 2024年10月15日 作成者: jarxiv

要約

人工知能 (AI)、特に大規模言語モデル (LLM) は、言語と情報のギャップを埋める可能性を秘めており、発展途上国の経済に利益をもたらす可能性があります。
しかし、FLORES-200、FLORES+、Ethnologue、World Development Indicators のデータを分析したところ、これらの利点は主に英語話者に有利であることが明らかになりました。
低所得国および下位中所得国の言語を話す人は、システムが入力を処理する方法 (トークン化) が原因で、API 経由で OpenAI の GPT モデルを使用する場合、コストが高くなります。
主に低中所得国の言語を話す約 15 億人は、英語話者が直面するコストの 4 ～ 6 倍の費用を負担する可能性があります。
LLM のパフォーマンスの格差は大きく、トークンごとに価格が設定されるモデルのトークン化により、アクセス、コスト、ユーティリティの不平等が増幅されます。
さらに、翻訳タスクの品質を代替尺度として使用して、LLM はリソースの少ない言語ではパフォーマンスが低く、これらのユーザーにとってコストの上昇とパフォーマンスの低下という「二重の危険」をもたらすことを示しました。
また、低リソース言語のトークン化における断片化が気候に与える直接的な影響についても説明します。
これは、すべての言語グループに利益をもたらすために、より公平なアルゴリズム開発の必要性を強調しています。

要約(オリジナル)

Artificial Intelligence (AI), particularly large language models (LLMs), holds the potential to bridge language and information gaps, which can benefit the economies of developing nations. However, our analysis of FLORES-200, FLORES+, Ethnologue, and World Development Indicators data reveals that these benefits largely favor English speakers. Speakers of languages in low-income and lower-middle-income countries face higher costs when using OpenAI’s GPT models via APIs because of how the system processes the input — tokenization. Around 1.5 billion people, speaking languages primarily from lower-middle-income countries, could incur costs that are 4 to 6 times higher than those faced by English speakers. Disparities in LLM performance are significant, and tokenization in models priced per token amplifies inequalities in access, cost, and utility. Moreover, using the quality of translation tasks as a proxy measure, we show that LLMs perform poorly in low-resource languages, presenting a “double jeopardy’ of higher costs and poor performance for these users. We also discuss the direct impact of fragmentation in tokenizing low-resource languages on climate. This underscores the need for fairer algorithm development to benefit all linguistic groups.

arxiv情報

著者 Aivin V. Solatorio,Gabriel Stefanini Vicente,Holly Krambeck,Olivier Dupriez
発行日 2024-10-14 16:11:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, econ.GN, q-fin.EC | Double Jeopardy and Climate Impact in the Use of Large Language Models: Socio-economic Disparities and Reduced Utility for Non-English Speakers はコメントを受け付けていません

Enhancing Robustness in Deep Reinforcement Learning: A Lyapunov Exponent Approach

投稿日: 2024年10月15日 作成者: jarxiv

要約

深層強化学習エージェントは、さまざまなシミュレートされた制御タスクで最先端のパフォーマンスを実現します。
しかし、現実世界の問題への応用で成功する例は依然として限られています。
この二分法が生じる理由の 1 つは、学習されたポリシーが観測ノイズや敵対的攻撃に対して堅牢ではないためです。
この論文では、決定論的連続制御タスクにおける単一の小さな状態の摂動に対するディープ RL ポリシーのロバスト性を調査します。
システム状態に対する小さな摂動がその後の状態と報酬の軌道に大きな影響を与えるため、RL ポリシーは決定論的にカオスになり得ることを示します。
この不安定な非線形動作には 2 つの影響があります。1 つは、センサーの読み取り値の不正確さ、または敵対的な攻撃により、パフォーマンスが大幅に低下する可能性があります。
第 2 に、報酬に関して堅実なパフォーマンスを示しているポリシーであっても、実際には予測できない動作が発生する可能性があります。
RL ポリシーにおける混乱のこれら 2 つの側面により、現実世界の問題へのディープ RL の適用は大幅に制限されます。
この問題に対処するために、成功した Dreamer V3 アーキテクチャの改善を提案し、Maximal Lyapunov Exponent 正則化を実装します。
この新しいアプローチは、カオス状態のダイナミクスを軽減し、学習されたポリシーのセンサーノイズや敵対的な攻撃に対する耐性を高め、それによって実世界のアプリケーションに対する深層強化学習の適合性を向上させます。

要約(オリジナル)

Deep reinforcement learning agents achieve state-of-the-art performance in a wide range of simulated control tasks. However, successful applications to real-world problems remain limited. One reason for this dichotomy is because the learned policies are not robust to observation noise or adversarial attacks. In this paper, we investigate the robustness of deep RL policies to a single small state perturbation in deterministic continuous control tasks. We demonstrate that RL policies can be deterministically chaotic as small perturbations to the system state have a large impact on subsequent state and reward trajectories. This unstable non-linear behaviour has two consequences: First, inaccuracies in sensor readings, or adversarial attacks, can cause significant performance degradation; Second, even policies that show robust performance in terms of rewards may have unpredictable behaviour in practice. These two facets of chaos in RL policies drastically restrict the application of deep RL to real-world problems. To address this issue, we propose an improvement on the successful Dreamer V3 architecture, implementing a Maximal Lyapunov Exponent regularisation. This new approach reduces the chaotic state dynamics, rendering the learnt policies more resilient to sensor noise or adversarial attacks and thereby improving the suitability of Deep Reinforcement Learning for real-world applications.

arxiv情報

著者 Rory Young,Nicolas Pugeault
発行日 2024-10-14 16:16:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Enhancing Robustness in Deep Reinforcement Learning: A Lyapunov Exponent Approach はコメントを受け付けていません

Shadowcast: Stealthy Data Poisoning Attacks Against Vision-Language Models

投稿日: 2024年10月15日 作成者: jarxiv

要約

視覚言語モデル (VLM) は、視覚入力からテキスト応答を生成することに優れていますが、その汎用性によりセキュリティ上の懸念が生じます。
この調査は、無害な日常的なプロンプトに対する応答を操作できるデータ ポイズニング攻撃に対する VLM の脆弱性を明らかにする第一歩となります。
シャドウキャストは、有害なサンプルと、テキストが一致する無害な画像とを視覚的に区別できない、ステルスなデータ ポイズニング攻撃です。
Shadowcast は 2 つの攻撃タイプで効果を発揮します。
1 つ目は従来のラベル攻撃で、VLM をだましてクラス ラベルを誤認させます (ドナルド トランプとジョー バイデンを混同するなど)。
2 つ目は斬新な説得攻撃で、VLM のテキスト生成機能を利用して、ジャンク フードを健​​康的であるかのように描写するなど、誤った情報に対して説得力のある一見合理的な物語を作成します。
Shadowcast がわずか 50 個の毒サンプルを使用して攻撃者の意図を効果的に達成することを示します。
重要なのは、汚染されたサンプルは異なる VLM アーキテクチャ間での移行可能性を示しており、ブラック ボックス設定では重大な懸念を引き起こしています。
さらに、Shadowcast は、さまざまなテキスト プロンプト、トレーニング データの拡張、および画像圧縮技術を含む現実的な条件下でも強力なままです。
この研究は、汚染された VLM がどのように説得力があるが欺瞞的な誤った情報を日常の良性ユーザーに広めることができるかを明らかにし、責任ある VLM 展開におけるデータ整合性の重要性を強調しています。
私たちのコードは https://github.com/umd-huang-lab/VLM-Poisoning から入手できます。

要約(オリジナル)

Vision-Language Models (VLMs) excel in generating textual responses from visual inputs, but their versatility raises security concerns. This study takes the first step in exposing VLMs’ susceptibility to data poisoning attacks that can manipulate responses to innocuous, everyday prompts. We introduce Shadowcast, a stealthy data poisoning attack where poison samples are visually indistinguishable from benign images with matching texts. Shadowcast demonstrates effectiveness in two attack types. The first is a traditional Label Attack, tricking VLMs into misidentifying class labels, such as confusing Donald Trump for Joe Biden. The second is a novel Persuasion Attack, leveraging VLMs’ text generation capabilities to craft persuasive and seemingly rational narratives for misinformation, such as portraying junk food as healthy. We show that Shadowcast effectively achieves the attacker’s intentions using as few as 50 poison samples. Crucially, the poisoned samples demonstrate transferability across different VLM architectures, posing a significant concern in black-box settings. Moreover, Shadowcast remains potent under realistic conditions involving various text prompts, training data augmentation, and image compression techniques. This work reveals how poisoned VLMs can disseminate convincing yet deceptive misinformation to everyday, benign users, emphasizing the importance of data integrity for responsible VLM deployments. Our code is available at: https://github.com/umd-huang-lab/VLM-Poisoning.

arxiv情報

著者 Yuancheng Xu,Jiarui Yao,Manli Shu,Yanchao Sun,Zichu Wu,Ning Yu,Tom Goldstein,Furong Huang
発行日 2024-10-14 16:17:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR, cs.LG | Shadowcast: Stealthy Data Poisoning Attacks Against Vision-Language Models はコメントを受け付けていません

Combinatorial Multi-armed Bandits: Arm Selection via Group Testing

投稿日: 2024年10月15日 作成者: jarxiv

要約

この論文では、セミバンディット フィードバックとスーパーアーム サイズに対するカーディナリティ制約を備えた組み合わせマルチアーム バンディットの問題を検討します。
この問題を解決するための既存のアルゴリズムには通常、2 つの主要なサブルーチンが含まれます。(1) 一連のベース アーム パラメータを順次推定するパラメータ推定ルーチン、および (2) ベース アームのサブセットとみなされるものを選択するスーパー アーム選択ポリシー
これらのパラメータに基づいて最適化されます。
最先端のアルゴリズムは、無制限の計算能力でスーパーアームを選択するための正確なオラクルへのアクセスを前提としています。
各インスタンスで、このオラクルはスコア関数のリストを評価します。スコア関数の数は、アームの数に応じて、最小値では直線的に、最大値では指数関数的に増加します。
これは、多数の武器を保有する体制では法外な行為となる可能性があります。
この論文では、完璧な神託に代わる新しい現実的な方法を紹介します。
このアルゴリズムは、スーパー アームを選択するためのグループ テストとパラメータ推定のための量子化トンプソン サンプリングの組み合わせを使用します。
報酬関数に関する一般的な分離可能性の仮定の下で、提案されたアルゴリズムは、スーパーアーム選択オラクルの複雑さをベースアームの数で対数になるように削減し、同時に、最先端のアルゴリズムと同じリグレスオーダーを達成します。
正確なオラクルを使用します。
これは、Oracle ベースのアプローチと比較して、複雑さが少なくとも指数関数的に軽減されることを意味します。

要約(オリジナル)

This paper considers the problem of combinatorial multi-armed bandits with semi-bandit feedback and a cardinality constraint on the super-arm size. Existing algorithms for solving this problem typically involve two key sub-routines: (1) a parameter estimation routine that sequentially estimates a set of base-arm parameters, and (2) a super-arm selection policy for selecting a subset of base arms deemed optimal based on these parameters. State-of-the-art algorithms assume access to an exact oracle for super-arm selection with unbounded computational power. At each instance, this oracle evaluates a list of score functions, the number of which grows as low as linearly and as high as exponentially with the number of arms. This can be prohibitive in the regime of a large number of arms. This paper introduces a novel realistic alternative to the perfect oracle. This algorithm uses a combination of group-testing for selecting the super arms and quantized Thompson sampling for parameter estimation. Under a general separability assumption on the reward function, the proposed algorithm reduces the complexity of the super-arm-selection oracle to be logarithmic in the number of base arms while achieving the same regret order as the state-of-the-art algorithms that use exact oracles. This translates to at least an exponential reduction in complexity compared to the oracle-based approaches.

arxiv情報

著者 Arpan Mukherjee,Shashanka Ubaru,Keerthiram Murugesan,Karthikeyan Shanmugam,Ali Tajer
発行日 2024-10-14 16:19:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.IT, cs.LG, math.IT, stat.ML | Combinatorial Multi-armed Bandits: Arm Selection via Group Testing はコメントを受け付けていません

Building a Multivariate Time Series Benchmarking Datasets Inspired by Natural Language Processing (NLP)

投稿日: 2024年10月15日 作成者: jarxiv

要約

時系列分析はさまざまな分野でますます重要になっており、効果的なモデルの開発は高品質のベンチマーク データセットに大きく依存しています。
事前トレーニング済みモデルの進歩における自然言語処理 (NLP) ベンチマーク データセットの成功に触発され、時系列分析用の包括的なベンチマーク データセットを作成する新しいアプローチを提案します。
このペーパーでは、NLP ベンチマーク データセットの作成に使用される方法論を検討し、それを時系列データ特有の課題に適応させます。
多様で代表的で困難な時系列データセットを厳選するプロセスについて説明し、ドメインの関連性とデータの複雑さの重要性を強調します。
さらに、ベンチマーク データセットを活用して時系列モデルのパフォーマンスを向上させるマルチタスク学習戦略を調査します。
この研究は、NLP ドメインの成功した戦略を採用することで、最先端の時系列モデリングを進歩させるという広範な目標に貢献します。

要約(オリジナル)

Time series analysis has become increasingly important in various domains, and developing effective models relies heavily on high-quality benchmark datasets. Inspired by the success of Natural Language Processing (NLP) benchmark datasets in advancing pre-trained models, we propose a new approach to create a comprehensive benchmark dataset for time series analysis. This paper explores the methodologies used in NLP benchmark dataset creation and adapts them to the unique challenges of time series data. We discuss the process of curating diverse, representative, and challenging time series datasets, highlighting the importance of domain relevance and data complexity. Additionally, we investigate multi-task learning strategies that leverage the benchmark dataset to enhance the performance of time series models. This research contributes to the broader goal of advancing the state-of-the-art in time series modeling by adopting successful strategies from the NLP domain.

arxiv情報

著者 Mohammad Asif Ibna Mustafa,Ferdinand Heinrich
発行日 2024-10-14 16:25:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Building a Multivariate Time Series Benchmarking Datasets Inspired by Natural Language Processing (NLP) はコメントを受け付けていません

The Future of Large Language Model Pre-training is Federated

投稿日: 2024年10月15日 作成者: jarxiv

要約

生成事前トレーニングされた大規模言語モデル (LLM) は、前例のない量のデータをトレーニングしたおかげで、幅広いタスクにわたって優れたパフォーマンスを実証しました。
確立されたスケーリングの法則が示すように、LLM の将来のパフォーマンス向上は、事前トレーニングに利用できるコンピューティングとデータ ソースの量に依存します。
フェデレーテッド ラーニング (FL) には、現在の LLM 実践のデータセンター中心のトレーニング方法論では十分に活用されていない、地球上のデータと計算リソースの大部分を解放する可能性があります。
私たちの研究は、LLM を訓練するために機関を超えた大規模なコラボレーションを可能にする、堅牢かつ柔軟で再現可能な FL アプローチを提示しています。
私たちは、LLM 事前トレーニング用のこの新しいトレーニング パラダイムの調査と開発を可能にする、Photon と呼ばれるスケーラブルな導入システムを提案します。
私たちは、数十億のパラメーターを使用して LLM を事前トレーニングするために、プライベート データ ソースや計算リソースと連携することに関心のある組織が Photon を使用できることを示します。
このパラダイムは、一元化されたパフォーマンスと同等か、場合によってはそれを上回るパフォーマンスを実現しながら、より多くの計算リソースとデータ リソースを動員します。
さらに、モデル サイズに応じたフェデレーテッド トレーニング スケールの有効性を示し、限られたリソースを使用して 10 億規模のフェデレーテッド LLM をトレーニングするためのアプローチを示します。
これまでのところ、Photon を使用して LLM モデルを 7B パラメーターのサイズにトレーニングしており、近い将来、より大きなモデルが完成することが予想されます。
最後に、LLM トレーニングが、フェデレーテッド統計とハードウェアの異質性という従来の課題に対して非常に回復力があることを示します。
さらに、部分的な参加に対して収束が堅牢であり、計算効率の高い共同トレーニングへの道が開かれることを示します。
Photon は、コンピューティングが豊富なアクターだけに舞台を委ねるのではなく、データが豊富なアクターが LLM の事前トレーニングの主人公になるのを支援します。

要約(オリジナル)

Generative pre-trained large language models (LLMs) have demonstrated impressive performance over a wide range of tasks, thanks to the unprecedented amount of data they have been trained on. As established scaling laws indicate, LLMs’ future performance improvement depends on the amount of computing and data sources they can leverage for pre-training. Federated learning (FL) has the potential to unleash the majority of the planet’s data and computational resources, which are underutilized by the data-center-focused training methodology of current LLM practice. Our work presents a robust, flexible, reproducible FL approach that enables large-scale collaboration across institutions to train LLMs. We propose a scalable deployment system called Photon to enable the investigation and development of this new training paradigm for LLM pre-training. We show that Photon can be used by organizations interested in collaborating with their private data sources and computational resources for pre-training LLMs with billions of parameters. This paradigm would mobilize more computational and data resources while matching or potentially exceeding centralized performance. We further show the effectiveness of the federated training scales with model size and present our approach for training billion-scale federated LLMs using limited resources. Thus far, we have used Photon to train LLM models to the size of 7B parameters and anticipate larger models being completed in the near future. Finally, we show that LLM training is highly resilient to the classical challenges of federated statistical and hardware heterogeneity. Furthermore, we show that convergence is robust to partial participation, opening the avenue for compute-efficient collaborative training. Photon will help data-rich actors to become the protagonists of LLMs pre-training instead of leaving the stage to compute-rich actors alone.

arxiv情報

著者 Lorenzo Sani,Alex Iacob,Zeyu Cao,Bill Marino,Yan Gao,Tomas Paulik,Wanru Zhao,William F. Shen,Preslav Aleksandrov,Xinchi Qiu,Nicholas D. Lane
発行日 2024-10-14 16:37:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DC, cs.LG | The Future of Large Language Model Pre-training is Federated はコメントを受け付けていません

Derail Yourself: Multi-turn LLM Jailbreak Attack through Self-discovered Clues

投稿日: 2024年10月15日 作成者: jarxiv

要約

この調査では、悪意のあるユーザーが複数のクエリにわたって有害な意図を隠蔽できる、マルチターン インタラクションにおける大規模言語モデル (LLM) の安全性の脆弱性を明らかにしています。
我々は、アクター ネットワーク理論にヒントを得た新しいマルチターン攻撃手法である Actor Attack を紹介します。これは、意味的にリンクされたアクターのネットワークを攻撃の手がかりとしてモデル化し、有害なターゲットへの多様で効果的な攻撃パスを生成します。
Actor Attack は、マルチターン攻撃における 2 つの主な課題に対処します。(1) アクターに関する無害な会話トピックを作成することで有害な意図を隠蔽する。(2) LLM の知識を活用して相関するアクターを特定することで、同じ有害なターゲットへの多様な攻撃パスを明らかにする。
さまざまな攻撃の手がかりとして。
このように、Actor Attack は、GPT-o1 であっても、高度なアライメント LLM 全体で既存のシングル ターンおよびマルチ ターン攻撃方法よりも優れたパフォーマンスを発揮します。
SafeMTData と呼ばれるデータセットを公開します。これには、Actor Attack によって生成された、マルチターンの敵対的プロンプトと安全調整データが含まれます。
私たちは、安全性データセットを使用して安全性を調整したモデルがマルチターン攻撃に対してより堅牢であることを実証します。
コードは https://github.com/renqibing/Actor Attack で入手できます。

要約(オリジナル)

This study exposes the safety vulnerabilities of Large Language Models (LLMs) in multi-turn interactions, where malicious users can obscure harmful intents across several queries. We introduce ActorAttack, a novel multi-turn attack method inspired by actor-network theory, which models a network of semantically linked actors as attack clues to generate diverse and effective attack paths toward harmful targets. ActorAttack addresses two main challenges in multi-turn attacks: (1) concealing harmful intents by creating an innocuous conversation topic about the actor, and (2) uncovering diverse attack paths towards the same harmful target by leveraging LLMs’ knowledge to specify the correlated actors as various attack clues. In this way, ActorAttack outperforms existing single-turn and multi-turn attack methods across advanced aligned LLMs, even for GPT-o1. We will publish a dataset called SafeMTData, which includes multi-turn adversarial prompts and safety alignment data, generated by ActorAttack. We demonstrate that models safety-tuned using our safety dataset are more robust to multi-turn attacks. Code is available at https://github.com/renqibing/ActorAttack.

arxiv情報

著者 Qibing Ren,Hao Li,Dongrui Liu,Zhanxu Xie,Xiaoya Lu,Yu Qiao,Lei Sha,Junchi Yan,Lizhuang Ma,Jing Shao
発行日 2024-10-14 16:41:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Derail Yourself: Multi-turn LLM Jailbreak Attack through Self-discovered Clues はコメントを受け付けていません

Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents

投稿日: 2024年10月15日 作成者: jarxiv

要約

この記事では、歴史上の議論から現代の進歩まで、コネクショニストとシンボリック人工知能 (AI) の融合について探ります。
従来、別個のパラダイムと考えられてきましたが、コネクショニスト AI はニューラル ネットワークに焦点を当てており、シンボリック AI は記号表現とロジックに重点を置いています。
ChatGPT や GPT-4 に代表される大規模言語モデル (LLM) の最近の進歩は、人間の言語を記号の形式として処理する際のコネクショニスト アーキテクチャの可能性を浮き彫りにしています。
この研究では、LLM 権限を備えた自律エージェント (LAA) がこのパラダイムの収束を体現していると主張しています。
テキストベースの知識モデリングと表現に LLM を利用することで、LAA は神経記号的な AI 原理を統合し、強化された推論と意思決定能力を示します。
神経記号的な AI テーマ内で LAA とナレッジ グラフを比較すると、人間のような推論プロセスを模倣し、大規模なデータセットで効果的にスケーリングし、明示的な再トレーニングを行わずにコンテキスト内のサンプルを活用するという LAA の独自の強みが浮き彫りになります。
この研究は、LAA の能力をさらに強化することを目的とした、神経ベクトル記号統合、命令エンコーディング、および暗黙的推論における有望な道を強調しています。
この研究は、神経記号 AI の進歩を探求し、将来の研究の軌道を提案することにより、AI テクノロジーの理解と開発を前進させます。

要約(オリジナル)

This article explores the convergence of connectionist and symbolic artificial intelligence (AI), from historical debates to contemporary advancements. Traditionally considered distinct paradigms, connectionist AI focuses on neural networks, while symbolic AI emphasizes symbolic representation and logic. Recent advancements in large language models (LLMs), exemplified by ChatGPT and GPT-4, highlight the potential of connectionist architectures in handling human language as a form of symbols. The study argues that LLM-empowered Autonomous Agents (LAAs) embody this paradigm convergence. By utilizing LLMs for text-based knowledge modeling and representation, LAAs integrate neuro-symbolic AI principles, showcasing enhanced reasoning and decision-making capabilities. Comparing LAAs with Knowledge Graphs within the neuro-symbolic AI theme highlights the unique strengths of LAAs in mimicking human-like reasoning processes, scaling effectively with large datasets, and leveraging in-context samples without explicit re-training. The research underscores promising avenues in neuro-vector-symbolic integration, instructional encoding, and implicit reasoning, aimed at further enhancing LAA capabilities. By exploring the progression of neuro-symbolic AI and proposing future research trajectories, this work advances the understanding and development of AI technologies.

arxiv情報

著者 Haoyi Xiong,Zhiyuan Wang,Xuhong Li,Jiang Bian,Zeke Xie,Shahid Mumtaz,Anwer Al-Dulaimi,Laura E. Barnes
発行日 2024-10-14 16:55:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Converging Paradigms: The Synergy of Symbolic and Connectionist AI in LLM-Empowered Autonomous Agents はコメントを受け付けていません