MixAT: Combining Continuous and Discrete Adversarial Training for LLMs

投稿日: 2025年5月23日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の安全性とアラインメントでの最近の努力にもかかわらず、フロンティアLLMに対する現在の敵対的攻撃は、依然として有害な世代を一貫して強制することができます。
敵対的な訓練は広く研究されており、従来の機械学習モデルの堅牢性を大幅に改善することが示されていますが、LLMSの文脈におけるその長所と短所はあまり理解されていません。
具体的には、既存の個別の敵対的攻撃は有害なコンテンツの生産に効果的ですが、具体的な敵対的プロンプトでLLMをトレーニングすることはしばしば計算上高価であり、継続的な弛緩に依存します。
これらの緩和は個別の入力トークンに対応していないため、このような潜在的なトレーニング方法は、多くの場合、多様な個別の攻撃のセットに対してモデルを脆弱にします。
この作業では、トレーニング中のより強力な離散攻撃とより高速な連続攻撃を組み合わせた新しい方法であるMixatを導入することにより、このギャップを埋めることを目指しています。
幅広い最先端の攻撃にわたってミキシットを厳密に評価し、少なくとも1つの攻撃成功率（ALO-ASR）メトリックを提案して、モデルの最悪の脆弱性をキャプチャします。
連続的な緩和に基づいた方法に匹敵するランタイムを維持しながら、Mixatは、以前の防御（ALO-ASR> 50％）と比較して、大幅に優れた堅牢性（ALO-ASR <20％）を達成することを示しています。 さらに、現実的な展開設定のミキシットを分析し、チャットテンプレート、量子化、低ランクアダプター、および温度が敵対的なトレーニングと評価の両方にどのように影響し、現在の方法論に追加の死角が表示されるかを調査します。 我々の結果は、Mixatの個別の連続防御が、最小限の計算オーバーヘッドで原則的で優れた堅牢性と堅牢性の活動のトレードオフを提供し、より安全なLLMSを構築するという約束を強調していることを示しています。 https://github.com/insait-institute/mixatでコードとモデルを提供します。

要約(オリジナル)

Despite recent efforts in Large Language Models (LLMs) safety and alignment, current adversarial attacks on frontier LLMs are still able to force harmful generations consistently. Although adversarial training has been widely studied and shown to significantly improve the robustness of traditional machine learning models, its strengths and weaknesses in the context of LLMs are less understood. Specifically, while existing discrete adversarial attacks are effective at producing harmful content, training LLMs with concrete adversarial prompts is often computationally expensive, leading to reliance on continuous relaxations. As these relaxations do not correspond to discrete input tokens, such latent training methods often leave models vulnerable to a diverse set of discrete attacks. In this work, we aim to bridge this gap by introducing MixAT, a novel method that combines stronger discrete and faster continuous attacks during training. We rigorously evaluate MixAT across a wide spectrum of state-of-the-art attacks, proposing the At Least One Attack Success Rate (ALO-ASR) metric to capture the worst-case vulnerability of models. We show MixAT achieves substantially better robustness (ALO-ASR < 20%) compared to prior defenses (ALO-ASR > 50%), while maintaining a runtime comparable to methods based on continuous relaxations. We further analyze MixAT in realistic deployment settings, exploring how chat templates, quantization, low-rank adapters, and temperature affect both adversarial training and evaluation, revealing additional blind spots in current methodologies. Our results demonstrate that MixAT’s discrete-continuous defense offers a principled and superior robustness-accuracy tradeoff with minimal computational overhead, highlighting its promise for building safer LLMs. We provide our code and models at https://github.com/insait-institute/MixAT.

arxiv情報

著者 Csaba Dékány,Stefan Balauca,Robin Staab,Dimitar I. Dimitrov,Martin Vechev
発行日 2025-05-22 17:32:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, I.2.7 | MixAT: Combining Continuous and Discrete Adversarial Training for LLMs はコメントを受け付けていません

Bottlenecked Transformers: Periodic KV Cache Abstraction for Generalised Reasoning

投稿日: 2025年5月23日 作成者: jarxiv

要約

印象的な能力にもかかわらず、大規模な言語モデルは、トレーニングの分布を超えて一般化に苦労し、多くの場合、真の抽象的な推論（外挿）ではなく洗練されたパターン補間を示します。
この作業では、ボトルネック（IB）理論のレンズを通じてこの制限にアプローチします。これは、モデルの一般化が、入力圧縮と潜在的な表現における予測情報の保持との最適なバランスから生じると仮定しています。
IB理論を使用して、デコーダーのみの変圧器がタスクと最適なシーケンス表現を形成する能力に本質的に制約されていることを証明します。
次に、この結果を使用して、内部シーケンスレベルの表現（KVキャッシュ）の定期的なグローバル変換が、推論タスクにおけるトランスの一般化を改善するために必要な計算ステップであることを示します。
これらの理論的洞察に基づいて、定期的な間隔でKVキャッシュをグローバルに書き換える追加モジュールの形で、トランスアーキテクチャの変更を提案し、入力のプレフィックスの記憶からエンコード機能への容量をシフトし、将来のトケンを予測するのに最も役立ちます。
私たちのモデルは、数学的推論ベンチマークに大きな利益をもたらし、最大3.5倍のパラメーターとキャッシュ圧縮のためのヒューリスティック駆動型の剪定メカニズムで両方のバニラ変圧器よりも優れています。
私たちのアプローチは、既存のKVキャッシュ圧縮法の原則的な一般化と見なすことができます。
このような方法は、入力表現の圧縮のみに焦点を当てていますが、多くの場合、予測情報を保持することを犠牲にしてそうします。したがって、それらの能力は本質的に制約のないモデルの機能によって制限されます。
これにより、情報理論を使用してトランスメモリを操作するための原則的なフレームワークが確立され、スケーリングだけでは克服できない基本的な推論の制限に対処します。

要約(オリジナル)

Despite their impressive capabilities, Large Language Models struggle with generalisation beyond their training distribution, often exhibiting sophisticated pattern interpolation rather than true abstract reasoning (extrapolation). In this work, we approach this limitation through the lens of Information Bottleneck (IB) theory, which posits that model generalisation emerges from an optimal balance between input compression and retention of predictive information in latent representations. We prove using IB theory that decoder-only Transformers are inherently constrained in their ability to form task-optimal sequence representations. We then use this result to demonstrate that periodic global transformation of the internal sequence-level representations (KV cache) is a necessary computational step for improving Transformer generalisation in reasoning tasks. Based on these theoretical insights, we propose a modification to the Transformer architecture, in the form of an additional module that globally rewrites the KV cache at periodic intervals, shifting its capacity away from memorising input prefixes and toward encoding features most useful for predicting future tokens. Our model delivers substantial gains on mathematical reasoning benchmarks, outperforming both vanilla Transformers with up to 3.5x more parameters, as well as heuristic-driven pruning mechanisms for cache compression. Our approach can be seen as a principled generalisation of existing KV-cache compression methods; whereas such methods focus solely on compressing input representations, they often do so at the expense of retaining predictive information, and thus their capabilities are inherently bounded by those of an unconstrained model. This establishes a principled framework to manipulate Transformer memory using information theory, addressing fundamental reasoning limitations that scaling alone cannot overcome.

arxiv情報

著者 Adnan Oomerjee,Zafeirios Fountas,Zhongwei Yu,Haitham Bou-Ammar,Jun Wang
発行日 2025-05-22 17:33:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.IT, cs.LG, math.IT | Bottlenecked Transformers: Periodic KV Cache Abstraction for Generalised Reasoning はコメントを受け付けていません

Invisible Prompts, Visible Threats: Malicious Font Injection in External Resources for Large Language Models

投稿日: 2025年5月23日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）には、リアルタイムWeb検索の機能がますます装備されており、モデルコンテキストプロトコル（MCP）などのプロトコルと統合されています。
この拡張機能は、新しいセキュリティの脆弱性を導入する可能性があります。
LLMの脆弱性の体系的な調査を、Webページなどの外部リソースでの悪意のあるフォントインジェクションを介して隠された敵対的プロンプトに対して系統的調査を提示します。攻撃者は、ユーザーには見えない欺ceptiveコンテンツを注入するためにコード間​​マッピングを操作します。
（1）「悪意のあるコンテンツリレー」と（2）MCP対応ツールを介した「機密データの漏れ」という2つの重要な攻撃シナリオを評価します。
私たちの実験は、注入された悪意のあるフォントを使用した間接プロンプトが外部リソースを通じてLLM安全メカニズムをバイパスできることを明らかにし、データの感度と迅速な設計に基づいてさまざまな成功率を達成します。
私たちの研究は、外部コンテンツを処理する際にLLM展開における強化されたセキュリティ対策に対する緊急の必要性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) are increasingly equipped with capabilities of real-time web search and integrated with protocols like Model Context Protocol (MCP). This extension could introduce new security vulnerabilities. We present a systematic investigation of LLM vulnerabilities to hidden adversarial prompts through malicious font injection in external resources like webpages, where attackers manipulate code-to-glyph mapping to inject deceptive content which are invisible to users. We evaluate two critical attack scenarios: (1) ‘malicious content relay’ and (2) ‘sensitive data leakage’ through MCP-enabled tools. Our experiments reveal that indirect prompts with injected malicious font can bypass LLM safety mechanisms through external resources, achieving varying success rates based on data sensitivity and prompt design. Our research underscores the urgent need for enhanced security measures in LLM deployments when processing external content.

arxiv情報

著者 Junjie Xiong,Changjia Zhu,Shuhang Lin,Chong Zhang,Yongfeng Zhang,Yao Liu,Lingyao Li
発行日 2025-05-22 17:36:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | Invisible Prompts, Visible Threats: Malicious Font Injection in External Resources for Large Language Models はコメントを受け付けていません

BP-Seg: A graphical model approach to unsupervised and non-contiguous text segmentation using belief propagation

投稿日: 2025年5月23日 作成者: jarxiv

要約

文の意味的な意味に基づくテキストセグメンテーションは、多くのダウンストリームアプリケーションで幅広いユーティリティを持つ基本的なタスクです。
この論文では、効率的なテキストセグメンテーションのためにBP-SEGという名前のグラフィカルモデルベースの監視学習アプローチを提案します。
私たちの方法は、地元の一貫性を考慮しているだけでなく、隣接する文がしばしばより関連していることが多いという直感を捉えているだけでなく、テキストで遠いが意味的に類似した文を効果的にグループ化します。
これは、慎重に構築されたグラフィカルモデルの信念伝播によって達成されます。
実験結果の実験結果と長型のドキュメントを使用したデータセットの両方で、競合するアプローチと比較して、方法が好意的に機能することが示されています。

要約(オリジナル)

Text segmentation based on the semantic meaning of sentences is a fundamental task with broad utility in many downstream applications. In this paper, we propose a graphical model-based unsupervised learning approach, named BP-Seg for efficient text segmentation. Our method not only considers local coherence, capturing the intuition that adjacent sentences are often more related, but also effectively groups sentences that are distant in the text yet semantically similar. This is achieved through belief propagation on the carefully constructed graphical models. Experimental results on both an illustrative example and a dataset with long-form documents demonstrate that our method performs favorably compared to competing approaches.

arxiv情報

著者 Fengyi Li,Kayhan Behdin,Natesh Pillai,Xiaofeng Wang,Zhipeng Wang,Ercan Yildiz
発行日 2025-05-22 17:46:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | BP-Seg: A graphical model approach to unsupervised and non-contiguous text segmentation using belief propagation はコメントを受け付けていません

Fixing Data That Hurts Performance: Cascading LLMs to Relabel Hard Negatives for Robust Information Retrieval

投稿日: 2025年5月23日 作成者: jarxiv

要約

トレーニング堅牢な検索および再生モデルは、通常、大規模な検索データセットに依存しています。
たとえば、BGEコレクションには、さまざまなデータソースから供給された160万のクエリパサージペアが含まれています。
ただし、特定のデータセットがモデルの有効性に悪影響を与える可能性があることがわかります。BGEコレクションの15のデータセットのうち8個を剪定すると、トレーニングセットのサイズが2.35 $ \ Times $を削減し、BeirのNDCG@10が1.0ポイント増加します。
これは、関連するパッセージが無関係であると誤ってラベル付けされている「偽のネガ」に特に焦点を当てたトレーニングデータの品質のより深い調査を動機付けます。
Cascading LLMプロンプトを使用して、ハードネガを識別し、再確認するためのシンプルで費用対効果の高いアプローチを提案します。
実験結果は、真の陽性との偽陰性を再生することで、Beirで0.7-1.4 NDCG@10、ゼロショットエアベンチ評価で1.7-1.8 NDCG@10でQWEN2.5-7B検索モデルの両方を改善することを示しています。
BeirのQWEN2.5-3Bなど、リラクテルドデータで微調整された再審査員についても同様の利益が観察されます。
カスケード設計の信頼性は、GPT-4oによる判断がGPT-4o-Miniよりもはるかに高い人間との一致を示す人間の注釈結果によってさらにサポートされています。

要約(オリジナル)

Training robust retrieval and reranker models typically relies on large-scale retrieval datasets; for example, the BGE collection contains 1.6 million query-passage pairs sourced from various data sources. However, we find that certain datasets can negatively impact model effectiveness — pruning 8 out of 15 datasets from the BGE collection reduces the training set size by 2.35$\times$ and increases nDCG@10 on BEIR by 1.0 point. This motivates a deeper examination of training data quality, with a particular focus on ‘false negatives’, where relevant passages are incorrectly labeled as irrelevant. We propose a simple, cost-effective approach using cascading LLM prompts to identify and relabel hard negatives. Experimental results show that relabeling false negatives with true positives improves both E5 (base) and Qwen2.5-7B retrieval models by 0.7-1.4 nDCG@10 on BEIR and by 1.7-1.8 nDCG@10 on zero-shot AIR-Bench evaluation. Similar gains are observed for rerankers fine-tuned on the relabeled data, such as Qwen2.5-3B on BEIR. The reliability of the cascading design is further supported by human annotation results, where we find judgment by GPT-4o shows much higher agreement with humans than GPT-4o-mini.

arxiv情報

著者 Nandan Thakur,Crystina Zhang,Xueguang Ma,Jimmy Lin
発行日 2025-05-22 17:47:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR | Fixing Data That Hurts Performance: Cascading LLMs to Relabel Hard Negatives for Robust Information Retrieval はコメントを受け付けていません

CASS: Nvidia to AMD Transpilation with Data, Models, and Benchmark

投稿日: 2025年5月23日 作成者: jarxiv

要約

クロスアーキテクチャGPUコードトランスピレーションの最初の大規模データセットおよびモデルスイートである\ texttt {cass}を紹介し、ソースレベル（cuda〜 $ \ leftrightarrow $〜hip）とアセンブリレベル（nvidia sass〜 $ \ leftrightarrow $〜amd rdna3）の両方を標的とします。
データセットは、ホストとデバイス全体の70K検証済みのコードペアで構成され、低レベルのGPUコードポータビリティの重大なギャップに対処します。
このリソースを活用して、ドメイン固有の言語モデルの\ texttt {cass}ファミリーをトレーニングし、95 \％のソース翻訳精度と37.5％のアセンブリ翻訳精度を達成し、GPT-4o、Claude、Hipifyなどの商用ベースラインを大幅に上回ります。
生成されたコードは、テストケースの85％以上でネイティブパフォーマンスと一致し、ランタイムとメモリの動作を維持します。
厳密な評価をサポートするために、\ texttt {cass-bench}を紹介します。これは、グラウンドトゥルース実行を備えた16 GPUドメインにまたがるキュレーションされたベンチマークです。
すべてのデータ、モデル、および評価ツールは、GPUコンパイラツーリング、バイナリ互換性、LLM誘導ハードウェア翻訳の進捗を促進するためのオープンソースとしてリリースされます。
データセットとベンチマークは\ href {https://huggingface.co/datasets/mbzuai/cass} {\ textcolor {blue} {huggingface}}、コード付きです
\ href {https://github.com/gustavostahl/cass} {\ textcolor {blue} {github}}。

要約(オリジナル)

We introduce \texttt{CASS}, the first large-scale dataset and model suite for cross-architecture GPU code transpilation, targeting both source-level (CUDA~$\leftrightarrow$~HIP) and assembly-level (Nvidia SASS~$\leftrightarrow$~AMD RDNA3) translation. The dataset comprises 70k verified code pairs across host and device, addressing a critical gap in low-level GPU code portability. Leveraging this resource, we train the \texttt{CASS} family of domain-specific language models, achieving 95\% source translation accuracy and 37.5\% assembly translation accuracy, substantially outperforming commercial baselines such as GPT-4o, Claude, and Hipify. Our generated code matches native performance in over 85\% of test cases, preserving runtime and memory behavior. To support rigorous evaluation, we introduce \texttt{CASS-Bench}, a curated benchmark spanning 16 GPU domains with ground-truth execution. All data, models, and evaluation tools are released as open source to foster progress in GPU compiler tooling, binary compatibility, and LLM-guided hardware translation. Dataset and benchmark are on \href{https://huggingface.co/datasets/MBZUAI/cass}{\textcolor{blue}{HuggingFace}}, with code at \href{https://github.com/GustavoStahl/CASS}{\textcolor{blue}{GitHub}}.

arxiv情報

著者 Ahmed Heakl,Sarim Hashmi,Gustavo Bertolo Stahl,Seung Hun Eddie Han,Salman Khan,Abdulrahman Mahmoud
発行日 2025-05-22 17:48:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.AR, cs.CL, cs.LG, cs.PL | CASS: Nvidia to AMD Transpilation with Data, Models, and Benchmark はコメントを受け付けていません

TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning

投稿日: 2025年5月23日 作成者: jarxiv

要約

Rehnection Learning（RL）は、報酬信号でポリシーを最適化することにより、大規模な言語モデル（LLMS）の推論能力を高めるための強力なツールとなっています。
しかし、RLの成功は、Verifiersによって提供される報酬の信頼性に依存しています。
このホワイトペーパーでは、広範囲の問題（False Negatives）を公開および分析し、検証者が正しいモデルの出力を誤って拒否します。
Big-Math-RL Verified Datasetの詳細な研究では、モデル生成された応答の38％以上が誤検知に苦しんでおり、検証剤が正解を認識できないことが明らかになりました。
経験的にも理論的にも、これらの偽陰性は、有益な勾配シグナルのモデルを奪い、収束を遅らせることにより、RLトレーニングを深刻に損なうことを示しています。
これを緩和するために、既存のルールベースの方法を強化する軽量LLMベースの検証剤であるTinyVを提案します。これは、潜在的な偽陰性を動的に識別し、より正確な報酬推定値を生成するために有効な応答を回復します。
複数の数学の季節のベンチマークにわたって、TinyVブーストを統合すると、パスレートが最大10％統合され、ベースラインと比較して収束が加速します。
私たちの調査結果は、検証剤の偽陰性に対処することの重要な重要性を強調し、RLベースのLLMSの微調整を改善するための実用的なアプローチを提供します。
私たちのコードは、https：//github.com/uw-nsl/tinyvで入手できます。

要約(オリジナル)

Reinforcement Learning (RL) has become a powerful tool for enhancing the reasoning abilities of large language models (LLMs) by optimizing their policies with reward signals. Yet, RL’s success relies on the reliability of rewards, which are provided by verifiers. In this paper, we expose and analyze a widespread problem–false negatives–where verifiers wrongly reject correct model outputs. Our in-depth study of the Big-Math-RL-Verified dataset reveals that over 38% of model-generated responses suffer from false negatives, where the verifier fails to recognize correct answers. We show, both empirically and theoretically, that these false negatives severely impair RL training by depriving the model of informative gradient signals and slowing convergence. To mitigate this, we propose tinyV, a lightweight LLM-based verifier that augments existing rule-based methods, which dynamically identifies potential false negatives and recovers valid responses to produce more accurate reward estimates. Across multiple math-reasoning benchmarks, integrating TinyV boosts pass rates by up to 10% and accelerates convergence relative to the baseline. Our findings highlight the critical importance of addressing verifier false negatives and offer a practical approach to improve RL-based fine-tuning of LLMs. Our code is available at https://github.com/uw-nsl/TinyV.

arxiv情報

著者 Zhangchen Xu,Yuetai Li,Fengqing Jiang,Bhaskar Ramasubramanian,Luyao Niu,Bill Yuchen Lin,Radha Poovendran
発行日 2025-05-22 17:49:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | TinyV: Reducing False Negatives in Verification Improves RL for LLM Reasoning はコメントを受け付けていません

HyGenar: An LLM-Driven Hybrid Genetic Algorithm for Few-Shot Grammar Generation

投稿日: 2025年5月23日 作成者: jarxiv

要約

文法は、構文の定義、パーサーの作成、および構造化された出力を導くことにより、自然言語処理とテキスト/コード生成において重要な役割を果たします。
大規模な言語モデル（LLM）はドメイン全体で印象的な機能を示していますが、文法を推測して生成する能力はまだ徹底的に調査されていません。
このホワイトペーパーでは、少数のショット文法生成のLLMSの能力を研究および改善することを目指しています。ここでは、少数の肯定的および否定的な例のセットから文法が推測され、バックスナウの形で生成されます。
これを調査するために、540の構造化された文法生成の課題で構成される新しいデータセットを導入し、6つのメトリックを考案し、それに対して8つのさまざまなLLMを評価しました。
私たちの調査結果は、既存のLLMが文法生成で最適に機能することを明らかにしています。
これに対処するために、文法生成を最適化するために、LLM駆動型のハイブリッド遺伝的アルゴリズム、つまりHygenarを提案します。
Hygenarは、LLM全体で生成された文法の構文と意味の両方の正確性の両方で大幅な改善を達成します。

要約(オリジナル)

Grammar plays a critical role in natural language processing and text/code generation by enabling the definition of syntax, the creation of parsers, and guiding structured outputs. Although large language models (LLMs) demonstrate impressive capabilities across domains, their ability to infer and generate grammars has not yet been thoroughly explored. In this paper, we aim to study and improve the ability of LLMs for few-shot grammar generation, where grammars are inferred from sets of a small number of positive and negative examples and generated in Backus-Naur Form. To explore this, we introduced a novel dataset comprising 540 structured grammar generation challenges, devised 6 metrics, and evaluated 8 various LLMs against it. Our findings reveal that existing LLMs perform sub-optimally in grammar generation. To address this, we propose an LLM-driven hybrid genetic algorithm, namely HyGenar, to optimize grammar generation. HyGenar achieves substantial improvements in both the syntactic and semantic correctness of generated grammars across LLMs.

arxiv情報

著者 Weizhi Tang,Yixuan Li,Chris Sypherd,Elizabeth Polgreen,Vaishak Belle
発行日 2025-05-22 17:52:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.PL | HyGenar: An LLM-Driven Hybrid Genetic Algorithm for Few-Shot Grammar Generation はコメントを受け付けていません

Know the Ropes: A Heuristic Strategy for LLM-based Multi-Agent System Design

投稿日: 2025年5月23日 作成者: jarxiv

要約

シングルエージェントLLMは、固定コンテキスト、役割の過負荷、および脆性ドメイン転送など、厳しい制限を打ちました。
従来のマルチエージェント修正は、これらのエッジを柔らかくしながら、新鮮な痛みを和らげます：不適切な分解、ファジー契約、およびゲインを鈍らせる検証オーバーヘッド。
したがって、ドメインのプリエをアルゴリズムの青写真階層に変換するフレームワークであるKnow-the-Ropes（KTR）を提示します。このフレームでは、タスクが再帰的にタイプ化されたコントローラーを介したサブタスクに分割され、それぞれがそれぞれゼロショット、または最も軽いブースト、マイクロチューン、自信のあるマイクロチューン、マイクロチューン、マイクロチューンの鎖です）
無限の定理に基づいて、KTRは、規律ある分解のために普遍的なプロンプトと追いかけます。
ナップサックの問題（3〜8項目）では、3つのGPT-4O-MINIエージェントが、単一のボトルネックエージェントにパッチを当てた後、サイズ5インスタンスで3％ゼロショットから95％に精度を上げます。
より厳しいタスク割り当ての問題（6〜15人のジョブ）では、6エージェントのO3-MINIブループリントがサイズ13〜15で100％まで100％、サイズ13-15で84％をヒットし、ゼロショット11％です。
したがって、アルゴリズムを手に入れた分解とターゲット増強とターゲット増強は、控えめなモデルを信頼できる協力者に変えます。

要約(オリジナル)

Single-agent LLMs hit hard limits–finite context, role overload, and brittle domain transfer. Conventional multi-agent fixes soften those edges yet expose fresh pains: ill-posed decompositions, fuzzy contracts, and verification overhead that blunts the gains. We therefore present Know-The-Ropes (KtR), a framework that converts domain priors into an algorithmic blueprint hierarchy, in which tasks are recursively split into typed, controller-mediated subtasks, each solved zero-shot or with the lightest viable boost (e.g., chain-of-thought, micro-tune, self-check). Grounded in the No-Free-Lunch theorem, KtR trades the chase for a universal prompt for disciplined decomposition. On the Knapsack problem (3-8 items), three GPT-4o-mini agents raise accuracy from 3% zero-shot to 95% on size-5 instances after patching a single bottleneck agent. On the tougher Task-Assignment problem (6-15 jobs), a six-agent o3-mini blueprint hits 100% up to size 10 and 84% on sizes 13-15, versus 11% zero-shot. Algorithm-aware decomposition plus targeted augmentation thus turns modest models into reliable collaborators–no ever-larger monoliths required.

arxiv情報

著者 Zhenkun Li,Lingyao Li,Shuhang Lin,Yongfeng Zhang
発行日 2025-05-22 17:52:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Know the Ropes: A Heuristic Strategy for LLM-based Multi-Agent System Design はコメントを受け付けていません

Beyond Correlation: Towards Causal Large Language Model Agents in Biomedicine

投稿日: 2025年5月23日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は生物医学で有望ですが、相関に依存している真の因果的理解を欠いています。
このペーパーでは、マルチモーダルデータ（テキスト、画像、ゲノミクスなど）を統合し、介入ベースの推論を実行して因果関係を推測する因果関係のLLMエージェントを想定しています。
これに対処するには、主要な課題を克服する必要があります。安全で制御可能なエージェントフレームワークの設計。
因果評価のための厳密なベンチマークの開発。
不均一なデータソースの統合。
LLMを構造化された知識（KG）と正式な因果推論ツールと相乗的に組み合わせます。
このようなエージェントは、自動化された仮説の生成とシミュレーションを介した生物の発見を加速し、患者固有の因果モデルを通じて個別化医療を可能にするなど、変革的な機会のロックを解除できます。
この研究アジェンダは、学際的な努力を促進し、因果概念を埋めること、および生物医学の進歩のための信頼できるAIパートナーを開発するための基礎モデルを埋めることを目的としています。

要約(オリジナル)

Large Language Models (LLMs) show promise in biomedicine but lack true causal understanding, relying instead on correlations. This paper envisions causal LLM agents that integrate multimodal data (text, images, genomics, etc.) and perform intervention-based reasoning to infer cause-and-effect. Addressing this requires overcoming key challenges: designing safe, controllable agentic frameworks; developing rigorous benchmarks for causal evaluation; integrating heterogeneous data sources; and synergistically combining LLMs with structured knowledge (KGs) and formal causal inference tools. Such agents could unlock transformative opportunities, including accelerating drug discovery through automated hypothesis generation and simulation, enabling personalized medicine through patient-specific causal models. This research agenda aims to foster interdisciplinary efforts, bridging causal concepts and foundation models to develop reliable AI partners for biomedical progress.

arxiv情報

著者 Adib Bazgir,Amir Habibdoust Lafmajani,Yuwen Zhang
発行日 2025-05-22 17:52:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, physics.med-ph | Beyond Correlation: Towards Causal Large Language Model Agents in Biomedicine はコメントを受け付けていません