Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks

投稿日: 2025年2月13日 作成者: jarxiv

要約

最近の大量のMLセキュリティ文献は、整合した大手言語モデル（LLMS）に対する攻撃に焦点を当てています。
これらの攻撃は、個人情報を抽出したり、モデルを強制して有害な出力を生成したりする可能性があります。
実際の展開では、LLMは多くの場合、メモリシステム、検索、Webアクセス、API通話など、より大きなエージェントパイプラインの一部です。
このような追加のコンポーネントは、これらのLLMを搭載したエージェントを孤立したLLMよりもはるかに攻撃しやすくする脆弱性を導入しますが、LLMエージェントのセキュリティに焦点を当てている作業は比較的少ない。
この論文では、LLMエージェントに固有のセキュリティとプライバシーの脆弱性を分析します。
最初に、脅威アクター、目的、エントリーポイント、攻撃者の観察性、攻撃戦略、およびエージェントパイプラインの固有の脆弱性によって分類される攻撃の分類法を提供します。
次に、人気のあるオープンソースと商業エージェントに対して一連の例示的な攻撃を実施し、それらの脆弱性の即時の実際的な意味を実証します。
特に、私たちの攻撃は実装するのが簡単であり、機械学習を理解する必要はありません。

要約(オリジナル)

A high volume of recent ML security literature focuses on attacks against aligned large language models (LLMs). These attacks may extract private information or coerce the model into producing harmful outputs. In real-world deployments, LLMs are often part of a larger agentic pipeline including memory systems, retrieval, web access, and API calling. Such additional components introduce vulnerabilities that make these LLM-powered agents much easier to attack than isolated LLMs, yet relatively little work focuses on the security of LLM agents. In this paper, we analyze security and privacy vulnerabilities that are unique to LLM agents. We first provide a taxonomy of attacks categorized by threat actors, objectives, entry points, attacker observability, attack strategies, and inherent vulnerabilities of agent pipelines. We then conduct a series of illustrative attacks on popular open-source and commercial agents, demonstrating the immediate practical implications of their vulnerabilities. Notably, our attacks are trivial to implement and require no understanding of machine learning.

arxiv情報

著者 Ang Li,Yin Zhou,Vethavikashini Chithrra Raghuram,Tom Goldstein,Micah Goldblum
発行日 2025-02-12 17:19:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Commercial LLM Agents Are Already Vulnerable to Simple Yet Dangerous Attacks はコメントを受け付けていません

Learning in Markets with Heterogeneous Agents: Dynamics and Survival of Bayesian vs. No-Regret Learners

投稿日: 2025年2月13日 作成者: jarxiv

要約

確率的な見返りを伴う資産市場における不均一な学習エージェントのパフォーマンスを分析します。
私たちのエージェントは、富の予想される成長率を最大化することを目指していますが、これを最もよく学ぶ方法について異なる理論を持っています。
私たちは、市場のダイナミクスにおけるベイジアンとリグレットなしの学習者の比較に焦点を当てています。
正しいモデルに正の事前確率を割り当てる有限のモデルの以前のベイジアン学習者は、正しいモデルに指数関数的に収束する事後確率を持っています。
その結果、確率的プロセスの正しいモデルに従って投資するエージェントの存在下でも生き残ります。
連続体を持つベイジアンは、$ o（\ log t）/t）$の速度で正しいモデルに収束します。
オンライン学習理論は、この設定で富のログを最大化するためのノーレグレットアルゴリズムを提供し、安定した基礎となる確率プロセスを仮定することなく、最良の固定投資ルールと比較することなく、$ o（\ log t）$の最悪の後悔の境界を達成します。
この後悔は、私たちが観察しているように、ベイジアン学習者の事前のベイジアン学習者のそれと同じ大きさです。
ただし、そのような低い後悔でさえ資産市場での生存に十分ではないかもしれないことを示しています。エージェントは$ o（\ log t）$ほど後悔することがありますが、投資するエージェントと競合すると市場のダイナミクスが消えてしまう可能性があります。
正しいモデル、または有限の事前の完璧なベイジアンに対してさえ。
一方、ベイジアンの学習は脆弱であることを示していますが、リグレットの学習には環境の知識が少ないため、より堅牢であることがわかります。
リグレットのいない学習者は、有限の事前または更新ルールにも小さなエラーがあるという不完全なベイジアンを市場から追い出します。
私たちは、経済学で研究された生存の概念、消失、市場支配と後悔の枠組みの間の関係を正式に確立し、これらの理論を橋渡しします。

要約(オリジナル)

We analyze the performance of heterogeneous learning agents in asset markets with stochastic payoffs. Our agents aim to maximize the expected growth rate of their wealth but have different theories on how to learn this best. We focus on comparing Bayesian and no-regret learners in market dynamics. Bayesian learners with a prior over a finite set of models that assign positive prior probability to the correct model have posterior probabilities that converge exponentially to the correct model. Consequently, they survive even in the presence of agents who invest according to the correct model of the stochastic process. Bayesians with a continuum prior converge to the correct model at a rate of $O((\log T)/T)$. Online learning theory provides no-regret algorithms for maximizing the log of wealth in this setting, achieving a worst-case regret bound of $O(\log T)$ without assuming a steady underlying stochastic process but comparing to the best fixed investment rule. This regret, as we observe, is of the same order of magnitude as that of a Bayesian learner with a continuum prior. However, we show that even such low regret may not be sufficient for survival in asset markets: an agent can have regret as low as $O(\log T)$, but still vanish in market dynamics when competing against agents who invest according to the correct model or even against a perfect Bayesian with a finite prior. On the other hand, we show that Bayesian learning is fragile, while no-regret learning requires less knowledge of the environment and is therefore more robust. Any no-regret learner will drive out of the market an imperfect Bayesian whose finite prior or update rule has even small errors. We formally establish the relationship between notions of survival, vanishing, and market domination studied in economics and the framework of regret minimization, thus bridging these theories.

arxiv情報

著者 David Easley,Yoav Kolumbus,Eva Tardos
発行日 2025-02-12 17:34:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.GT, cs.MA, econ.TH | Learning in Markets with Heterogeneous Agents: Dynamics and Survival of Bayesian vs. No-Regret Learners はコメントを受け付けていません

CurvGAD: Leveraging Curvature for Enhanced Graph Anomaly Detection

投稿日: 2025年2月13日 作成者: jarxiv

要約

複雑なネットワークの固有の曲率は、従来のアプローチが見落としているグラフの異常を発表するための鍵を保持していますか？
再構成ベースのグラフアノマリー検出（GAD）メソッドは、構造的および属性レベルの異常にのみ焦点を当てた、このような幾何学的外れ値を見落としています。
この目的のために、曲率ベースの幾何学的異常の概念を導入する混合curvatureグラフオートエンコーダーであるCurvgadを提案します。
CurvGadは、異常解釈を強化するための2つの並列パイプラインを導入します。（1）混合農業、Riemannianエンコーダー、ガウスカーネルベースのデコーダーを使用したエッジ曲率の再構築にのみ焦点を当てている曲率と等式のジオメトリ再構成。
（2）離散オリビエ-ricciフローの下でグラフ曲率を正規化することにより、幾何学的不規則性から構造的および属性異常を隔離し、それにより非幾何学的異常を分離することにより、幾何学的不規則性から属性の異常を分離する曲率不変の構造と属性再構築。
曲率を活用することにより、CurvGadは既存の異常分類を改良し、新しい曲率駆動型の異常を識別します。
10の実世界のデータセット（同性愛者と異系統の両方）を超える広範な実験は、最先端のGADメソッドよりも最大6.5％の改善を示しています。

要約(オリジナル)

Does the intrinsic curvature of complex networks hold the key to unveiling graph anomalies that conventional approaches overlook? Reconstruction-based graph anomaly detection (GAD) methods overlook such geometric outliers, focusing only on structural and attribute-level anomalies. To this end, we propose CurvGAD – a mixed-curvature graph autoencoder that introduces the notion of curvature-based geometric anomalies. CurvGAD introduces two parallel pipelines for enhanced anomaly interpretability: (1) Curvature-equivariant geometry reconstruction, which focuses exclusively on reconstructing the edge curvatures using a mixed-curvature, Riemannian encoder and Gaussian kernel-based decoder; and (2) Curvature-invariant structure and attribute reconstruction, which decouples structural and attribute anomalies from geometric irregularities by regularizing graph curvature under discrete Ollivier-Ricci flow, thereby isolating the non-geometric anomalies. By leveraging curvature, CurvGAD refines the existing anomaly classifications and identifies new curvature-driven anomalies. Extensive experimentation over 10 real-world datasets (both homophilic and heterophilic) demonstrates an improvement of up to 6.5% over state-of-the-art GAD methods.

arxiv情報

著者 Karish Grover,Geoffrey J. Gordon,Christos Faloutsos
発行日 2025-02-12 17:49:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | CurvGAD: Leveraging Curvature for Enhanced Graph Anomaly Detection はコメントを受け付けていません

Lightweight Neural App Control

投稿日: 2025年2月13日 作成者: jarxiv

要約

このペーパーでは、さまざまなAndroidアプリ間で効率的な対話と制御のために、新しい携帯電話コントロールアーキテクチャ、軽量マルチモーダルアプリコントロール（LIMAC）を紹介します。
LIMACは、テキストの目標と、スクリーンショットや対応するUIツリーなどの過去のモバイル観測のシーケンスを、正確なアクションを生成します。
スマートフォンに固有の計算上の制約に対処するために、リアルタイムの意思決定とタスク実行のために、微調整されたビジョン言語モデル（VLM）と統合された小さなアクショントランス（ACT）を導入します。
2つのオープンソースモバイルコントロールデータセットでLIMACを評価し、Florence2やQWEN2-VLなどのオープンソースVLMの微調整されたバージョンに対する小型因子アプローチの優れたパフォーマンスを実証します。
また、GPT-4Oなどの閉鎖源の基礎モデルを利用して、迅速なエンジニアリングベースラインを大幅に上回っています。
より具体的には、LIMACは、微調整されたVLMSと比較して全体的なアクション精度を最大19％増加させ、プロンプトエンジニアリングベースラインと比較して最大42％増加します。

要約(オリジナル)

This paper introduces a novel mobile phone control architecture, Lightweight Multi-modal App Control (LiMAC), for efficient interactions and control across various Android apps. LiMAC takes as input a textual goal and a sequence of past mobile observations, such as screenshots and corresponding UI trees, to generate precise actions. To address the computational constraints inherent to smartphones, we introduce a small Action Transformer (AcT) integrated with a fine-tuned vision-language model (VLM) for real-time decision-making and task execution. We evaluate LiMAC on two open-source mobile control datasets, demonstrating the superior performance of our small-form-factor approach against fine-tuned versions of open-source VLMs, such as Florence2 and Qwen2-VL. It also significantly outperforms prompt engineering baselines utilising closed-source foundation models like GPT-4o. More specifically, LiMAC increases the overall action accuracy by up to 19% compared to fine-tuned VLMs, and up to 42% compared to prompt-engineering baselines.

arxiv情報

著者 Filippos Christianos,Georgios Papoudakis,Thomas Coste,Jianye Hao,Jun Wang,Kun Shao
発行日 2025-02-12 17:51:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Lightweight Neural App Control はコメントを受け付けていません

Distillation Scaling Laws

投稿日: 2025年2月13日 作成者: jarxiv

要約

計算予算と学生と教師間の割り当てに基づいて蒸留モデルのパフォーマンスを推定する蒸留スケーリング法を提供します。
私たちの調査結果は、大規模な蒸留を使用することに関連するリスクを減らします。
教師モデルと学生モデルの両方に割り当てを計算することで、生徒のパフォーマンスを最大化することができます。
1）教師が存在する場合、または2）教師がトレーニングを必要とする場合のために、最適な蒸留レシピを計算します。
多くの生徒が蒸留される場合、または教師がすでに存在する場合、蒸留は、学生のサイズで予測可能に成長する計算レベルまで、監視された事前に監視された前登録を上回ります。
1人の生徒が蒸留され、教師もトレーニングを必要とする場合、代わりに監督された学習を行う必要があります。
さらに、蒸留に関する大規模な研究全体に洞察を提供し、蒸留の理解を高め、実験設計を通知します。

要約(オリジナル)

We provide a distillation scaling law that estimates distilled model performance based on a compute budget and its allocation between the student and teacher. Our findings reduce the risks associated with using distillation at scale; compute allocation for both the teacher and student models can now be done to maximize student performance. We provide compute optimal distillation recipes for when 1) a teacher exists, or 2) a teacher needs training. If many students are to be distilled, or a teacher already exists, distillation outperforms supervised pretraining until a compute level which grows predictably with student size. If one student is to be distilled and a teacher also needs training, supervised learning should be done instead. Additionally, we provide insights across our large scale study of distillation, which increase our understanding of distillation and inform experimental design.

arxiv情報

著者 Dan Busbridge,Amitis Shidani,Floris Weers,Jason Ramapuram,Etai Littwin,Russ Webb
発行日 2025-02-12 17:52:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, stat.ML | Distillation Scaling Laws はコメントを受け付けていません

Interactive incremental learning of generalizable skills with local trajectory modulation

投稿日: 2025年2月13日 作成者: jarxiv

要約

デモンストレーション（LFD）からの学習における一般化の問題は、特に多くのアプローチが出現した動きのプリミティブの文脈の中で、長年にわたってかなりの注目を集めてきました。
最近、2つの重要なアプローチが認識されています。
1つは、実証された軌道を変調することにより地域でスキルを順番に調整するためにポイント経由で活用しますが、もう1つは、一般化の確率の製品を使用して、さまざまな座標系に関して動きをエンコードするいわゆるタスクパラメーターモデルに依存しています。
前者は正確な、ローカル変調に適していますが、後者はワークスペースの大規模な領域を一般化することを目指しており、しばしば複数のオブジェクトを伴います。
両方のアプローチを同時に活用することにより、一般化の質に対処することはほとんど注目されていません。
この作業では、軌跡分布のローカルおよびグローバルな変調を同時に活用するインタラクティブな模倣学習フレームワークを提案します。
カーネル化されたムーブメントプリミティブ（KMP）フレームワークに基づいて、直接的な人間の矯正フィードバックからスキル変調の新しいメカニズムを紹介します。
私たちのアプローチは、特にviaポイントの概念を徐々にインタラクティブに活用します。1）モデルの精度を局所的に改善し、2）実行中にタスクに新しいオブジェクトを追加し、3）デモンストレーションが提供されていない領域にスキルを拡張します。
トルク制御された7-DOF、DLR SARAロボットを使用して、ベアリングリングロードタスクでの方法を評価します。

要約(オリジナル)

The problem of generalization in learning from demonstration (LfD) has received considerable attention over the years, particularly within the context of movement primitives, where a number of approaches have emerged. Recently, two important approaches have gained recognition. While one leverages via-points to adapt skills locally by modulating demonstrated trajectories, another relies on so-called task-parameterized models that encode movements with respect to different coordinate systems, using a product of probabilities for generalization. While the former are well-suited to precise, local modulations, the latter aim at generalizing over large regions of the workspace and often involve multiple objects. Addressing the quality of generalization by leveraging both approaches simultaneously has received little attention. In this work, we propose an interactive imitation learning framework that simultaneously leverages local and global modulations of trajectory distributions. Building on the kernelized movement primitives (KMP) framework, we introduce novel mechanisms for skill modulation from direct human corrective feedback. Our approach particularly exploits the concept of via-points to incrementally and interactively 1) improve the model accuracy locally, 2) add new objects to the task during execution and 3) extend the skill into regions where demonstrations were not provided. We evaluate our method on a bearing ring-loading task using a torque-controlled, 7-DoF, DLR SARA robot.

arxiv情報

著者 Markus Knauer,Alin Albu-Schäffer,Freek Stulp,João Silvério
発行日 2025-02-12 17:55:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | Interactive incremental learning of generalizable skills with local trajectory modulation はコメントを受け付けていません

Quantifying Security Vulnerabilities: A Metric-Driven Security Analysis of Gaps in Current AI Standards

投稿日: 2025年2月13日 作成者: jarxiv

要約

AIシステムが重要なインフラストラクチャに統合するにつれて、AIコンプライアンスフレームワークのセキュリティギャップは緊急の注意を要求します。
このペーパーでは、NIST AI RMF 1.0、UKのAIおよびデータ保護リスクツールキット、およびEUのAltaiの3つの主要なAIガバナンス基準のセキュリティリスクを監査および定量化します。
新しいリスク評価方法を使用して、4つの重要なメトリックを開発します：リスク重大度インデックス（RSI）、攻撃潜在指数（AVPI）、コンプライアンスセキュリティギャップ率（CSGP）、および根本原因の脆弱性スコア（RCV）。
私たちの分析は、フレームワーク全体にわたって136の懸念を特定し、重要なギャップを公開します。
NISTは特定されたリスクの69.23％に対処できず、Altaiは攻撃ベクターの脆弱性が最も高く（AVPI = 0.51）、ICOツールキットには最大のコンプライアンスセキュリティギャップがあり、リスクの高い懸念の80.00％が未解決のままです。
根本原因分析は、重大な弱点として、過小定義されたプロセス（Altai RCVS = 033）および弱い実装ガイダンス（NISTおよびICO RCVS = 0.25）を強調しています。
これらの調査結果は、AIコンプライアンスにおけるより強力で強制力のあるセキュリティ管理の必要性を強調しています。
セキュリティの姿勢を強化し、コンプライアンスと現実世界のAIリスクのギャップを埋めるためのターゲットを絞った推奨事項を提供します。

要約(オリジナル)

As AI systems integrate into critical infrastructure, security gaps in AI compliance frameworks demand urgent attention. This paper audits and quantifies security risks in three major AI governance standards: NIST AI RMF 1.0, UK’s AI and Data Protection Risk Toolkit, and the EU’s ALTAI. Using a novel risk assessment methodology, we develop four key metrics: Risk Severity Index (RSI), Attack Potential Index (AVPI), Compliance-Security Gap Percentage (CSGP), and Root Cause Vulnerability Score (RCVS). Our analysis identifies 136 concerns across the frameworks, exposing significant gaps. NIST fails to address 69.23 percent of identified risks, ALTAI has the highest attack vector vulnerability (AVPI = 0.51) and the ICO Toolkit has the largest compliance-security gap, with 80.00 percent of high-risk concerns remaining unresolved. Root cause analysis highlights under-defined processes (ALTAI RCVS = 033) and weak implementation guidance (NIST and ICO RCVS = 0.25) as critical weaknesses. These findings emphasize the need for stronger, enforceable security controls in AI compliance. We offer targeted recommendations to enhance security posture and bridge the gap between compliance and real-world AI risks.

arxiv情報

著者 Keerthana Madhavan,Abbas Yazdinejad,Fattane Zarrinkalam,Ali Dehghantanha
発行日 2025-02-12 17:57:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | Quantifying Security Vulnerabilities: A Metric-Driven Security Analysis of Gaps in Current AI Standards はコメントを受け付けていません

Evaluating the Performance of ChatGPT for Spam Email Detection

投稿日: 2025年2月13日 作成者: jarxiv

要約

電子メールは引き続き極めて重要であり、専門的および商業的なドメイン内でコミュニケーション媒体を広く利用しています。
それにもかかわらず、スパム電子メールの有病率は、ユーザーにとって大きな課題をもたらし、日常生活を混乱させ、生産性を低下させます。
その結果、コンテンツに基づいてスパムを正確に識別およびフィルタリングすることが、サイバーセキュリティにとって重要になりました。
自然言語処理の最近の進歩、特にChatGPTのような大規模な言語モデルでは、質問の回答やテキスト生成などのタスクで顕著なパフォーマンスが示されています。
ただし、スパム識別におけるその可能性は未脱カタリングのままです。
ギャップを埋めるために、この調査では、英語と中国の電子メールデータセットの両方でスパム識別のためのChatGPTの機能を評価しようとします。
コンテキスト内学習を使用したスパムメール検出にChatGptを使用しています。
また、プロンプトのデモの数がChatGPTのパフォーマンスにどのように影響するかを調査します。
比較のために、ナイーブベイズ、サポートベクターマシン（SVM）、ロジスティック回帰（LR）、フィードフォワード密度の高いニューラルネットワーク（DNN）、およびBERT分類器など、5つの一般的なベンチマークメソッドも実装しています。
大規模な実験を通じて、CHATGPTのパフォーマンスは、大規模な英語データセットの深い監視された学習方法よりも著しく悪化していますが、低資源の中国のデータセットで優れたパフォーマンスを示しています。
この研究は、スパム識別のためのChATGPTの潜在能力と制限に関する洞察を提供し、リソースに制約のある言語ドメインの実行可能なソリューションとしての可能性を強調しています。

要約(オリジナル)

Email continues to be a pivotal and extensively utilized communication medium within professional and commercial domains. Nonetheless, the prevalence of spam emails poses a significant challenge for users, disrupting their daily routines and diminishing productivity. Consequently, accurately identifying and filtering spam based on content has become crucial for cybersecurity. Recent advancements in natural language processing, particularly with large language models like ChatGPT, have shown remarkable performance in tasks such as question answering and text generation. However, its potential in spam identification remains underexplored. To fill in the gap, this study attempts to evaluate ChatGPT’s capabilities for spam identification in both English and Chinese email datasets. We employ ChatGPT for spam email detection using in-context learning, which requires a prompt instruction with (or without) a few demonstrations. We also investigate how the number of demonstrations in the prompt affects the performance of ChatGPT. For comparison, we also implement five popular benchmark methods, including naive Bayes, support vector machines (SVM), logistic regression (LR), feedforward dense neural networks (DNN), and BERT classifiers. Through extensive experiments, the performance of ChatGPT is significantly worse than deep supervised learning methods in the large English dataset, while it presents superior performance on the low-resourced Chinese dataset. This study provides insights into the potential and limitations of ChatGPT for spam identification, highlighting its potential as a viable solution for resource-constrained language domains.

arxiv情報

著者 Shijing Si,Yuwei Wu,Le Tang,Yugui Zhang,Jedrek Wosik,Qinliang Su
発行日 2025-02-12 17:59:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CY, cs.LG | Evaluating the Performance of ChatGPT for Spam Email Detection はコメントを受け付けていません

ARR: Question Answering with Large Language Models via Analyzing, Retrieving, and Reasoning

投稿日: 2025年2月13日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、多肢選択の質問（QA）タスクとしてしばしば構成される挑戦的なベンチマークで顕著なパフォーマンスを実現します。
ゼロショットチェーンオブ考え（COT）プロンプトは、LLMSの推論を強化しますが、あいまいで一般的なガイダンスのみを提供します（「段階的に考えてください」）。
このペーパーでは、QA解決に3つの重要なステップを明示的に組み込んだ直感的で効果的なゼロショットプロンプトメソッドであるARRを紹介します。質問の意図の分析、関連情報の取得、推論の段階的な推論です。
多様で挑戦的なQAタスクにわたる包括的な実験は、ARRがベースラインを一貫して（ARRプロンプトなしで）改善し、COTを上回ることを示しています。
アブレーションとケーススタディは、各コンポーネントの肯定的な貢献をさらに検証します：分析、取得、推論。
特に、意図分析はarrで重要な役割を果たします。
さらに、さまざまなモデルサイズ、LLMシリーズ、および生成設定にわたる広範な評価が、arrの有効性、堅牢性、および一般化可能性を固めます。

要約(オリジナル)

Large language models (LLMs) achieve remarkable performance on challenging benchmarks that are often structured as multiple-choice question-answering (QA) tasks. Zero-shot Chain-of-Thought (CoT) prompting enhances reasoning in LLMs but provides only vague and generic guidance (‘think step by step’). This paper introduces ARR, an intuitive and effective zero-shot prompting method that explicitly incorporates three key steps in QA solving: analyzing the intent of the question, retrieving relevant information, and reasoning step by step. Comprehensive experiments across diverse and challenging QA tasks demonstrate that ARR consistently improves the Baseline (without ARR prompting) and outperforms CoT. Ablation and case studies further validate the positive contributions of each component: analyzing, retrieving, and reasoning. Notably, intent analysis plays a vital role in ARR. Additionally, extensive evaluations across various model sizes, LLM series, and generation settings solidify the effectiveness, robustness, and generalizability of ARR.

arxiv情報

著者 Yuwei Yin,Giuseppe Carenini
発行日 2025-02-12 18:36:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, I.2.7 | ARR: Question Answering with Large Language Models via Analyzing, Retrieving, and Reasoning はコメントを受け付けていません

Ensemble based approach to quantifying uncertainty of LLM based classifications

投稿日: 2025年2月13日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の出力は、内部モデルのパラメーターとコンテキストウィンドウに提供される入力の関数です。
ここで提示されている仮説は、貪欲なサンプリング戦略の下で、LLMの出力の分散は、モデルのパラメトリック知識に埋め込まれた概念的確実性の関数であり、入力の語彙的分散の関数であるということです。
モデルを微調整すると、モデル出力の感度が語彙入力変動に対する感度が低下します。
これは、分類問題に適用され、予測クラスの確実性を推定するために確率的方法が提案されます。

要約(オリジナル)

The output of Large Language Models (LLMs) are a function of the internal model’s parameters and the input provided into the context window. The hypothesis presented here is that under a greedy sampling strategy the variance in the LLM’s output is a function of the conceptual certainty embedded in the model’s parametric knowledge, as well as the lexical variance in the input. Finetuning the model results in reducing the sensitivity of the model output to the lexical input variations. This is then applied to a classification problem and a probabilistic method is proposed for estimating the certainties of the predicted classes.

arxiv情報

著者 Srijith Rajamohan,Ahmed Salhin,Josh Frazier,Rohit Kumar,Yu-Cheng Tsai,Todd Cook
発行日 2025-02-12 18:42:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Ensemble based approach to quantifying uncertainty of LLM based classifications はコメントを受け付けていません