Outlier dimensions favor frequent tokens in language models

投稿日: 2025年4月10日 作成者: jarxiv

要約

最後の層の外れ値の寸法、つまり、大部分の入力に対して極端な活性化を示す寸法を研究します。
多くの異なる現代言語モデルで外れ値の寸法が生じることを示し、その機能を頻繁に予測するというヒューリスティックに戻ります。
さらに、残りの寸法に相殺された重量質量を割り当てることにより、モデルが文脈的に適切でないときにこのヒューリスティックをブロックする方法を示し、どのモデルパラメーターが外れ値の寸法を高めるか、トレーニング中に発生するかを調査します。
外れ値の寸法は、有用なトークン予測ヒューリスティックを実装するために、多くの異なるモデルによって発見された特殊なメカニズムであると結論付けています。

要約(オリジナル)

We study last-layer outlier dimensions, i.e. dimensions that display extreme activations for the majority of inputs. We show that outlier dimensions arise in many different modern language models, and trace their function back to the heuristic of constantly predicting frequent words. We further show how a model can block this heuristic when it is not contextually appropriate, by assigning a counterbalancing weight mass to the remaining dimensions, and we investigate which model parameters boost outlier dimensions and when they arise during training. We conclude that outlier dimensions are a specialized mechanism discovered by many distinct models to implement a useful token prediction heuristic.

arxiv情報

著者 Iuri Macocco,Nora Graichen,Gemma Boleda,Marco Baroni
発行日 2025-04-09 14:37:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, I.2.7 | Outlier dimensions favor frequent tokens in language models はコメントを受け付けていません

Review of Case-Based Reasoning for LLM Agents: Theoretical Foundations, Architectural Components, and Cognitive Integration

投稿日: 2025年4月10日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）を搭載したエージェントは、最近、さまざまなタスクで印象的な機能を実証しています。
それでも、彼らは、特定の構造化された知識、柔軟性、または説明責任のある意思決定を必要とするタスクの制限に直面しています。
エージェントは環境を知覚し、推論を形成し、目標に向けて行動を計画し、実行することができますが、多くの場合、幻覚や相互作用全体の文脈的記憶の欠如などの問題に直面しています。
このペーパーでは、過去の経験を参照することで新しい問題を解決する戦略であるケースベースの推論（CBR）をLLMエージェントフレームワークに統合する方法を探ります。
この統合により、LLMは明示的な知識を活用して、その有効性を高めることができます。
これらの強化されたエージェントの理論的基礎を体系的に確認し、重要なフレームワークコンポーネントを特定し、ケース検索、適応、および学習のCBRプロセスの数学モデルを策定します。
また、CBR強化エージェントを、考え方の推論や標準的な検索の高等世代などの他の方法に対して評価し、それらの相対的な強さを分析します。
さらに、目標主導の自律運動メカニズムを介してCBRの認知的次元（自己反省、内省、好奇心を含む）を活用することで、LLMエージェント機能をさらに強化する方法を探ります。
ニューロ – シンボリックハイブリッドシステムに関する進行中の研究に貢献しているこの作業は、CBRを、自律LLMエージェントの推論スキルと認知的側面を強化するための実行可能な手法として仮定しています。

要約(オリジナル)

Agents powered by Large Language Models (LLMs) have recently demonstrated impressive capabilities in various tasks. Still, they face limitations in tasks requiring specific, structured knowledge, flexibility, or accountable decision-making. While agents are capable of perceiving their environments, forming inferences, planning, and executing actions towards goals, they often face issues such as hallucinations and lack of contextual memory across interactions. This paper explores how Case-Based Reasoning (CBR), a strategy that solves new problems by referencing past experiences, can be integrated into LLM agent frameworks. This integration allows LLMs to leverage explicit knowledge, enhancing their effectiveness. We systematically review the theoretical foundations of these enhanced agents, identify critical framework components, and formulate a mathematical model for the CBR processes of case retrieval, adaptation, and learning. We also evaluate CBR-enhanced agents against other methods like Chain-of-Thought reasoning and standard Retrieval-Augmented Generation, analyzing their relative strengths. Moreover, we explore how leveraging CBR’s cognitive dimensions (including self-reflection, introspection, and curiosity) via goal-driven autonomy mechanisms can further enhance the LLM agent capabilities. Contributing to the ongoing research on neuro-symbolic hybrid systems, this work posits CBR as a viable technique for enhancing the reasoning skills and cognitive aspects of autonomous LLM agents.

arxiv情報

著者 Kostas Hatalis,Despina Christou,Vyshnavi Kondapalli
発行日 2025-04-09 14:51:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68, cs.AI, cs.MA, I.2 | Review of Case-Based Reasoning for LLM Agents: Theoretical Foundations, Architectural Components, and Cognitive Integration はコメントを受け付けていません

Adaptive Computation Pruning for the Forgetting Transformer

投稿日: 2025年4月10日 作成者: jarxiv

要約

最近提案された忘却トランス（FOX）には、忘れられたゲートがソフトマックスの注意に組み込まれており、標準的なロープベースのトランスと比較して、一貫して優れたパフォーマンスまたはオンパーパフォーマンスを示しています。
特に、FOXの多くの注意ヘッドはすぐに忘れがちで、各タイムステップでの出力により、主にローカルコンテキストに依存します。
この観察結果に基づいて、FOXの適応計算剪定（ACP）を提案します。これは、忘却ゲートによって強く減衰される入出力依存性を含む計算を動的にプルーン化する方法です。
これは、剪定された注意の重みが無視できるようにする動的に設定された剪定しきい値を使用して達成されます。
ACPをFOXで言語モデルの事前削減に適用し、ソフトマックスの注意のフロップ数を一貫して減少させて、異なるモデルサイズとコンテキストの長さにわたって約70％減少し、トレーニングスループットの約10％から35％の改善をもたらします。
さらに、コンテキストの長さが長くなると、計算の節約が大きくなります。
これらの速度の改善はすべて、パフォーマンスの劣化なしに達成されます。
また、いくつかの分析を実行して、剪定パターンを調べたり、さまざまな注意ヘッドにわたるフロップ節約の分布を分析するなど、私たちの方法に関するより深い洞察を提供します。
私たちのコードは、https：//github.com/zhixuan-lin/arctic-foxで入手できます。

要約(オリジナル)

The recently proposed Forgetting Transformer (FoX) incorporates a forget gate into softmax attention and has shown consistently better or on-par performance compared to the standard RoPE-based Transformer. Notably, many attention heads in FoX tend to forget quickly, causing their output at each timestep to rely primarily on the local context. Based on this observation, we propose Adaptive Computation Pruning (ACP) for FoX, a method that dynamically prunes computations involving input-output dependencies that are strongly decayed by the forget gate. This is achieved using a dynamically set pruning threshold that ensures that the pruned attention weights remain negligible. We apply ACP to language model pretraining with FoX and show it consistently reduces the number of FLOPs in softmax attention by around 70% across different model sizes and context lengths, resulting in a roughly 10% to 35% improvement in training throughput. Furthermore, longer context lengths yield greater computational savings. All these speed improvements are achieved without any performance degradation. We also perform several analyses to provide deeper insights into our method, such as examining the pruning patterns and analyzing the distribution of FLOP savings across different attention heads. Our code is available at https://github.com/zhixuan-lin/arctic-fox.

arxiv情報

著者 Zhixuan Lin,Johan Obando-Ceron,Xu Owen He,Aaron Courville
発行日 2025-04-09 14:57:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Adaptive Computation Pruning for the Forgetting Transformer はコメントを受け付けていません

Human and LLM Biases in Hate Speech Annotations: A Socio-Demographic Analysis of Annotators and Targets

投稿日: 2025年4月10日 作成者: jarxiv

要約

オンラインプラットフォームの台頭により、ヘイトスピーチの広がりが悪化し、スケーラブルで効果的な検出を要求しました。
ただし、ヘイトスピーチ検出システムの精度は、人間標識データに大きく依存しており、本質的にバイアスの影響を受けやすいです。
以前の研究ではこの問題が調査されていますが、アノテーターの特性と憎悪の標的の特性との相互作用はまだ未開拓です。
アノテーターとターゲットの両方の豊富な社会人口統計情報で広範なデータセットを活用することにより、このギャップを埋めて、ターゲットの属性に関連して人間の偏見がどのように現れるかを明らかにします。
分析は、広範囲にわたるバイアスの存在を表面化します。これは、その強度と有病率に基づいて定量的に説明および特徴付け、顕著な違いを明らかにします。
さらに、人間のバイアスをペルソナベースのLLMSが示すものと比較します。
私たちの調査結果は、ペルソナベースのLLMはバイアスを示す一方で、これらはヒトのアノテーターのバイアスとは大きく異なることを示しています。
全体として、私たちの作品は、ヘイトスピーチの注釈における人間のバイアスに関する新しい微妙な結果と、AI主導のヘイトスピーチ検出システムの設計に関する新鮮な洞察を提供します。

要約(オリジナル)

The rise of online platforms exacerbated the spread of hate speech, demanding scalable and effective detection. However, the accuracy of hate speech detection systems heavily relies on human-labeled data, which is inherently susceptible to biases. While previous work has examined the issue, the interplay between the characteristics of the annotator and those of the target of the hate are still unexplored. We fill this gap by leveraging an extensive dataset with rich socio-demographic information of both annotators and targets, uncovering how human biases manifest in relation to the target’s attributes. Our analysis surfaces the presence of widespread biases, which we quantitatively describe and characterize based on their intensity and prevalence, revealing marked differences. Furthermore, we compare human biases with those exhibited by persona-based LLMs. Our findings indicate that while persona-based LLMs do exhibit biases, these differ significantly from those of human annotators. Overall, our work offers new and nuanced results on human biases in hate speech annotations, as well as fresh insights into the design of AI-driven hate speech detection systems.

arxiv情報

著者 Tommaso Giorgi,Lorenzo Cima,Tiziano Fagni,Marco Avvenuti,Stefano Cresci
発行日 2025-04-09 15:05:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.HC | Human and LLM Biases in Hate Speech Annotations: A Socio-Demographic Analysis of Annotators and Targets はコメントを受け付けていません

RNN-Transducer-based Losses for Speech Recognition on Noisy Targets

投稿日: 2025年4月10日 作成者: jarxiv

要約

騒々しい転写産物に関するトレーニング音声認識システムは、データセットが膨大であり、すべてのインスタンスの正確な転写を確保する産業パイプラインで重要な課題です。
この作業では、RNN-Transducerモデルの転写エラーの影響を軽減するために、新しい損失関数を導入します。
Star-Transducerの損失は、損失格子に「スキップフレーム」遷移を組み込んで削除エラーに対処し、正確な転写産物でトレーニングされたモデルと比較してシステムのパフォーマンスの90％以上を回復します。
バイパストランスドゥーサーの損失は、「スキップトークン」遷移を使用して挿入エラーに取り組み、品質の60％以上を回復します。
最後に、ターゲット – ロバストトランスデューサー損失はこれらのアプローチをマージし、任意のエラーに対して堅牢なパフォーマンスを提供します。
実験結果は、ターゲットの堅牢なトランスデューサーの損失が、よく転写されたデータと比較して品質の70％以上を回復することにより、ノイズの多いデータのRNN-Tパフォーマンスを大幅に改善することを示しています。

要約(オリジナル)

Training speech recognition systems on noisy transcripts is a significant challenge in industrial pipelines, where datasets are enormous and ensuring accurate transcription for every instance is difficult. In this work, we introduce novel loss functions to mitigate the impact of transcription errors in RNN-Transducer models. Our Star-Transducer loss addresses deletion errors by incorporating ‘skip frame’ transitions in the loss lattice, restoring over 90% of the system’s performance compared to models trained with accurate transcripts. The Bypass-Transducer loss uses ‘skip token’ transitions to tackle insertion errors, recovering more than 60% of the quality. Finally, the Target-Robust Transducer loss merges these approaches, offering robust performance against arbitrary errors. Experimental results demonstrate that the Target-Robust Transducer loss significantly improves RNN-T performance on noisy data by restoring over 70% of the quality compared to well-transcribed data.

arxiv情報

著者 Vladimir Bataev
発行日 2025-04-09 15:18:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG, cs.SD, eess.AS | RNN-Transducer-based Losses for Speech Recognition on Noisy Targets はコメントを受け付けていません

LLM Safeguard is a Double-Edged Sword: Exploiting False Positives for Denial-of-Service Attacks

投稿日: 2025年4月10日 作成者: jarxiv

要約

安全性は、オープンな展開における大規模な言語モデル（LLMS）にとって最も重要な懸念であり、安全性の整合性またはガードレールメカニズムを通じて倫理的および責任ある使用を強制する保護方法の開発を動機付けます。
Safeguardメソッドの\ Emphing {false Negatives}を悪用する脱獄攻撃は、LLMセキュリティの分野で顕著な研究の焦点として浮上しています。
ただし、悪意のある攻撃者は、セーフガードの誤検知症を悪用することも、安全なコンテンツを誤ってブロックするために保護モデルを欺き、LLMユーザーに影響を与えるサービス拒否（DOS）につながる可能性があることがわかりました。
見落とされがちな脅威の知識ギャップを埋めるために、ユーザープロンプトテンプレートに短い敵対的なプロンプトを挿入し、毒殺された微調整によってサーバー上のLLMを破壊することを含む複数の攻撃方法を探ります。
どちらの方法でも、攻撃はクライアントからのユーザー要求の拒否を保護します。
私たちの評価は、複数のシナリオにわたるこの脅威の重大度を示しています。
たとえば、ホワイトボックスの敵対的なプロンプトインジェクションのシナリオでは、攻撃者は最適化プロセスを使用して、ラマガード3のユーザー要求の97％以上を普遍的にブロックすると、約30文字しか一見安全な敵対的なプロンプトを自動的に生成できます。

要約(オリジナル)

Safety is a paramount concern for large language models (LLMs) in open deployment, motivating the development of safeguard methods that enforce ethical and responsible use through safety alignment or guardrail mechanisms. Jailbreak attacks that exploit the \emph{false negatives} of safeguard methods have emerged as a prominent research focus in the field of LLM security. However, we found that the malicious attackers could also exploit false positives of safeguards, i.e., fooling the safeguard model to block safe content mistakenly, leading to a denial-of-service (DoS) affecting LLM users. To bridge the knowledge gap of this overlooked threat, we explore multiple attack methods that include inserting a short adversarial prompt into user prompt templates and corrupting the LLM on the server by poisoned fine-tuning. In both ways, the attack triggers safeguard rejections of user requests from the client. Our evaluation demonstrates the severity of this threat across multiple scenarios. For instance, in the scenario of white-box adversarial prompt injection, the attacker can use our optimization process to automatically generate seemingly safe adversarial prompts, approximately only 30 characters long, that universally block over 97% of user requests on Llama Guard 3. These findings reveal a new dimension in LLM safeguard evaluation — adversarial robustness to false positives.

arxiv情報

著者 Qingzhao Zhang,Ziyang Xiong,Z. Morley Mao
発行日 2025-04-09 15:20:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | LLM Safeguard is a Double-Edged Sword: Exploiting False Positives for Denial-of-Service Attacks はコメントを受け付けていません

Enhancing Metabolic Syndrome Prediction with Hybrid Data Balancing and Counterfactuals

投稿日: 2025年4月10日 作成者: jarxiv

要約

メタボリックシンドローム（METS）は、心血管疾患と2型糖尿病のリスクを大幅に増加させる相互に関連する危険因子のクラスターです。
その世界的な有病率にもかかわらず、MetSの正確な予測は、既存の研究における階級の不均衡、データの希少性、方法論的な矛盾などの問題のために依然として挑戦的です。
このホワイトペーパーでは、METS予測の機械学習（ML）モデルを体系的に評価および最適化し、高度なデータバランス技術と反事実分析を活用することにより、これらの課題に対処します。
Xgboost、ランダムフォレスト、TabNetなどを含む複数のMLモデルを、ランダムオーバーサンプリング（ROS）、Smote、Adasyn、CTGANなどのさまざまなデータバランスの手法で訓練および比較しました。
さらに、Smote、Adasyn、およびCTGANを統合する新しいハイブリッドフレームワークであるMetaboostを紹介し、重みのある平均化と反復重量調整を通じて合成データ生成を最適化して、モデルのパフォーマンスを向上させます（個々のバランス技術よりも1.14％の精度の向上を達成します）。
包括的な反事実分析が行われ、個人が高リスクから低リスクのカテゴリにシフトするために必要な機能レベルの変更を定量化します。
結果は、血糖（50.3％）とトリグリセリド（46.7％）が最も頻繁に修正された特徴であり、METSのリスク低下における臨床的意義を強調したことを示しています。
さらに、確率的分析では、血糖値の上昇（85.5％の尤度）とトリグリセリド（74.9％の事後確率）が最も強力な予測因子として示されています。
この研究は、METSの予測の方法論的な厳密さを進めるだけでなく、臨床医と研究者に実用的な洞察を提供し、メタボリックシンドロームの公衆衛生負担を軽減するMLの可能性を強調しています。

要約(オリジナル)

Metabolic Syndrome (MetS) is a cluster of interrelated risk factors that significantly increases the risk of cardiovascular diseases and type 2 diabetes. Despite its global prevalence, accurate prediction of MetS remains challenging due to issues such as class imbalance, data scarcity, and methodological inconsistencies in existing studies. In this paper, we address these challenges by systematically evaluating and optimizing machine learning (ML) models for MetS prediction, leveraging advanced data balancing techniques and counterfactual analysis. Multiple ML models, including XGBoost, Random Forest, TabNet, etc., were trained and compared under various data balancing techniques such as random oversampling (ROS), SMOTE, ADASYN, and CTGAN. Additionally, we introduce MetaBoost, a novel hybrid framework that integrates SMOTE, ADASYN, and CTGAN, optimizing synthetic data generation through weighted averaging and iterative weight tuning to enhance the model’s performance (achieving a 1.14% accuracy improvement over individual balancing techniques). A comprehensive counterfactual analysis is conducted to quantify feature-level changes required to shift individuals from high-risk to low-risk categories. The results indicate that blood glucose (50.3%) and triglycerides (46.7%) were the most frequently modified features, highlighting their clinical significance in MetS risk reduction. Additionally, probabilistic analysis shows elevated blood glucose (85.5% likelihood) and triglycerides (74.9% posterior probability) as the strongest predictors. This study not only advances the methodological rigor of MetS prediction but also provides actionable insights for clinicians and researchers, highlighting the potential of ML in mitigating the public health burden of metabolic syndrome.

arxiv情報

著者 Sanyam Paresh Shah,Abdullah Mamun,Shovito Barua Soumma,Hassan Ghasemzadeh
発行日 2025-04-09 15:51:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Enhancing Metabolic Syndrome Prediction with Hybrid Data Balancing and Counterfactuals はコメントを受け付けていません

Multi-Fidelity Policy Gradient Algorithms

投稿日: 2025年4月10日 作成者: jarxiv

要約

多くの強化学習（RL）アルゴリズムには大量のデータが必要であり、運用システムとの頻繁な相互作用が実行不可能である、または高忠実度のシミュレーションが高価または利用できないアプリケーションでの使用を禁止する必要があります。
一方、低忠実度のシミュレータ（低秩序モデル、ヒューリスティックな報酬機能、または生成世界モデルなど）は、直接的なSIMからリアルへの転送には粗すぎても、RLトレーニングに有用なデータを安価に提供します。
ターゲット環境からの少量のデータを大量の低忠実度シミュレーションデータと組み合わせて、ポリック前のポリシーグラデーションの偏りのない減少推定値（コントロールバリエート）を形成するRLフレームワークである多忠実度ポリシーグラデーション（MFPG）を提案します。
2つのポリシーグラデーションアルゴリズムの多忠実度バリアントを開発することにより、フレームワークをインスタンス化します：強化と近位ポリシーの最適化。
一連のシミュレートされたロボットベンチマークの問題にわたる実験結果は、ターゲット環境サンプルが制限されている場合、MFPGが高忠実度データのみを使用するベースラインと比較して最大3.9倍高い報酬を達成し、トレーニングの安定性を改善することを示しています。
さらに、ターゲット環境との多くの相互作用が多いため、ベースラインにより多くの忠実度サンプルが10倍まで与えられた場合でも、MFPGは引き続きそれらを一致または上回ります。
最後に、MFPGは、低忠実度環境がターゲット環境と劇的に異なる場合でも、効果的なポリシーをトレーニングできることを観察します。
したがって、MFPGは、効率的なSIMからリアルへの転送のための新しいパラダイムを提供するだけでなく、ポリシーのパフォーマンスとデータ収集コストのトレードオフを管理するための原則的なアプローチも提供します。

要約(オリジナル)

Many reinforcement learning (RL) algorithms require large amounts of data, prohibiting their use in applications where frequent interactions with operational systems are infeasible, or high-fidelity simulations are expensive or unavailable. Meanwhile, low-fidelity simulators–such as reduced-order models, heuristic reward functions, or generative world models–can cheaply provide useful data for RL training, even if they are too coarse for direct sim-to-real transfer. We propose multi-fidelity policy gradients (MFPGs), an RL framework that mixes a small amount of data from the target environment with a large volume of low-fidelity simulation data to form unbiased, reduced-variance estimators (control variates) for on-policy policy gradients. We instantiate the framework by developing multi-fidelity variants of two policy gradient algorithms: REINFORCE and proximal policy optimization. Experimental results across a suite of simulated robotics benchmark problems demonstrate that when target-environment samples are limited, MFPG achieves up to 3.9x higher reward and improves training stability when compared to baselines that only use high-fidelity data. Moreover, even when the baselines are given more high-fidelity samples–up to 10x as many interactions with the target environment–MFPG continues to match or outperform them. Finally, we observe that MFPG is capable of training effective policies even when the low-fidelity environment is drastically different from the target environment. MFPG thus not only offers a novel paradigm for efficient sim-to-real transfer but also provides a principled approach to managing the trade-off between policy performance and data collection costs.

arxiv情報

著者 Xinjie Liu,Cyrus Neary,Kushagra Gupta,Christian Ellis,Ufuk Topcu,David Fridovich-Keil
発行日 2025-04-09 15:52:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.RO | Multi-Fidelity Policy Gradient Algorithms はコメントを受け付けていません

Countering threats to national security posed by AI systems through an incident regime

投稿日: 2025年4月10日 作成者: jarxiv

要約

AI能力の最近の進歩は、AIシステムが国家安全保障に脅威を与える可能性があるという懸念を高めました。たとえば、悪意のあるアクターが重要な国家インフラストラクチャでサイバー攻撃を実行したり、自律AIシステムの制御を紛失したりすることを容易にすることにより。
並行して、米国の連邦議員は、同様の脅威を特定して対抗するために、初期の「AI事件体制」を提案しています。
この論文では、これら2つの傾向を統合し、AIシステムからの潜在的な国家安全保障の脅威に対抗することを目的とした法的に義務付けられた展開後のAI事件制度の提案を提示します。
「セキュリティクリティカル」の概念を導入して、「セキュリティクリティカル」が民間の原子力発電、航空、航空科学の二重使用懸念研究、フロンティアAI開発について説明する前に、国家安全保障に極度のリスクをもたらす医師を説明する「セキュリティクリティカル」の概念を導入することから始めます。
次に、AIインシデント制度の提案を詳細に提示し、他の「セキュリティクリティカルな」セクターにおける米国の国内事件体制との類似性を実証することにより、提案の各要素を正当化します。
最後に、提案されたAI事件制度がAIサイバー事件を扱う仮説的なシナリオをスケッチします。
提案されているAIインシデント体制は、3つのフェーズに分割されています。
最初のフェーズは、「AIインシデント」としてカウントされるものの新しい運用化を中心に展開します。AIプロバイダーは、フロンティアAIシステムを展開する前に「国家安全保障ケース」を作成する必要があることをお勧めします。
第2段階と第3フェーズでは、AIプロバイダーが事件について政府機関に通知する必要があり、政府機関が国家安全保障に対する将来の脅威に対抗するために、AIプロバイダーのセキュリティと安全手順の修正に関与すべきであることを明らかにしています。

要約(オリジナル)

Recent progress in AI capabilities has heightened concerns that AI systems could pose a threat to national security, for example, by making it easier for malicious actors to perform cyberattacks on critical national infrastructure, or through loss of control of autonomous AI systems. In parallel, federal legislators in the US have proposed nascent ‘AI incident regimes’ to identify and counter similar threats. In this paper, we consolidate these two trends and present a proposal for a legally mandated post-deployment AI incident regime that aims to counter potential national security threats from AI systems. We start the paper by introducing the concept of ‘security-critical’ to describe doctors that pose extreme risks to national security, before arguing that ‘security-critical’ describes civilian nuclear power, aviation, life science dual-use research of concern, and frontier AI development. We then present in detail our AI incident regime proposal, justifying each component of the proposal by demonstrating its similarity to US domestic incident regimes in other ‘security-critical’ sectors. Finally, we sketch a hypothetical scenario where our proposed AI incident regime deals with an AI cyber incident. Our proposed AI incident regime is split into three phases. The first phase revolves around a novel operationalization of what counts as an ‘AI incident’ and we suggest that AI providers must create a ‘national security case’ before deploying a frontier AI system. The second and third phases spell out that AI providers should notify a government agency about incidents, and that the government agency should be involved in amending AI providers’ security and safety procedures, in order to counter future threats to national security.

arxiv情報

著者 Alejandro Ortega
発行日 2025-04-09 16:36:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CY | Countering threats to national security posed by AI systems through an incident regime はコメントを受け付けていません

MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs

投稿日: 2025年4月10日 作成者: jarxiv

要約

主にプライバシー関連の問題により、医療領域での人工知能アプリケーションの開発への関心の高まりは、高品質のデータセットの欠如に苦しんでいます。
さらに、最近の視覚言語モデル（VLM）の増加は、臨床報告と調査結果が対応する医療スキャンに付随するマルチモーダル医療データセットの必要性につながります。
このペーパーでは、MedPix 2.0データセットを構築するためのワークフロー全体を示しています。
主に医師、看護師、医療学生が医学教育の継続的な目的で使用している有名なマルチモーダルデータセットMedPixから始めて、視覚データを抽出するための半自動パイプラインが開発され、その後にノイズのサンプルが削除され、MongoDBデータベースが作成されました。
データセットに加えて、MongoDBインスタンスを効率的にナビゲートし、トレーニングや微調整VLMに簡単に使用できる生データを取得することを目的としたグラフィカルユーザーインターフェイスを開発しました。
この点を実施するために、この作業では、MedPix 2.0で訓練された拡張生成ベースのVLMモデルを取得したDr-Minerva博士を最初に思い出します。
Dr-Minervaは、身体の部分と入力画像のスキャンに使用されるモダリティを予測します。
また、llama 3.1 instruce 8bを使用し、Medpix 2.0をレバレッジする知識グラフでDr-Minervaの拡張を提案します。
結果のアーキテクチャは、医療意思決定支援システムとして、エンドツーエンドの方法で照会できます。
Medpix 2.0は、Github https://github.com/chilab1/medpix-2.0で入手できます

要約(オリジナル)

The increasing interest in developing Artificial Intelligence applications in the medical domain, suffers from the lack of high-quality data set, mainly due to privacy-related issues. In addition, the recent increase in Vision Language Models (VLM) leads to the need for multimodal medical data sets, where clinical reports and findings are attached to the corresponding medical scans. This paper illustrates the entire workflow for building the MedPix 2.0 data set. Starting with the well-known multimodal data set MedPix, mainly used by physicians, nurses, and healthcare students for Continuing Medical Education purposes, a semi-automatic pipeline was developed to extract visual and textual data followed by a manual curing procedure in which noisy samples were removed, thus creating a MongoDB database. Along with the data set, we developed a Graphical User Interface aimed at navigating efficiently the MongoDB instance and obtaining the raw data that can be easily used for training and/or fine-tuning VLMs. To enforce this point, in this work, we first recall DR-Minerva, a Retrieve Augmented Generation-based VLM model trained upon MedPix 2.0. DR-Minerva predicts the body part and the modality used to scan its input image. We also propose the extension of DR-Minerva with a Knowledge Graph that uses Llama 3.1 Instruct 8B, and leverages MedPix 2.0. The resulting architecture can be queried in a end-to-end manner, as a medical decision support system. MedPix 2.0 is available on GitHub https://github.com/CHILab1/MedPix-2.0

arxiv情報

著者 Irene Siragusa,Salvatore Contino,Massimo La Ciura,Rosario Alicata,Roberto Pirrone
発行日 2025-04-09 16:57:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DB, cs.LG | MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs はコメントを受け付けていません