The importance of the clustering model to detect new types of intrusion in data traffic

投稿日: 2025年3月27日 作成者: jarxiv

要約

現在のデジタル時代では、さまざまなサイバーアクティビティによって生成されたデータの量が膨大になり、絶えず増加しています。
データには、サイバーセキュリティ対策を改善するために利用できる貴重な洞察が含まれている場合があります。
ただし、このデータの多くは分類されていない定性的であり、従来の分析方法に大きな課題をもたらします。
クラスタリングは、同様のデータポイントをグループ化することにより、データの隠されたパターンと構造の識別を促進するため、脅威を特定して対処するのが簡単になります。
クラスタリングは、データセットをいくつかのカテゴリに分割するために類似性計算を使用するデータマイニング（DM）アプローチとして定義できます。
階層的、密度ベース、およびパーティション化クラスタリングアルゴリズムが典型的です。
提示された作業では、k-meansアルゴリズムを使用します。これは、人気のあるクラスタリング手法です。
K-Meansアルゴリズムを利用して、2つの異なるタイプのデータを使用しました。まず、K-Meansアルゴリズムとの集約を完了した後、XG-Boostアルゴリズムを使用してデータを収集しました。
Kali Linux環境、CICFLOWMETERトラフィック、および多様で簡単な攻撃を使用したPuttyソフトウェアツールを使用して、データが収集されました。
この概念は、既知の攻撃とは異なる新しい攻撃タイプを特定し、それらが示す特性に基づいてそれらをラベル付けするのに役立ちます。サイバー脅威に関する動的な性質は、新しい攻撃タイプがしばしば出現し、ラベル付きデータがまだ存在しない可能性があることを意味します。
モデルは攻撃をカウントし、それぞれに番号を割り当てました。
次に、呼び出されたKaggleリポジトリ内のReady Dataの同じ作業を試みました（Internet of Things Networkでの侵入検出）、クラスタリングモデルはうまく機能し、結果セクションに示すように攻撃の数を正しく検出しました。

要約(オリジナル)

In the current digital age, the volume of data generated by various cyber activities has become enormous and is constantly increasing. The data may contain valuable insights that can be harnessed to improve cyber security measures. However, much of this data is unclassified and qualitative, which poses significant challenges to traditional analysis methods. Clustering facilitates the identification of hidden patterns and structures in data through grouping similar data points, which makes it simpler to identify and address threats. Clustering can be defined as a data mining (DM) approach, which uses similarity calculations for dividing a data set into several categories. Hierarchical, density-based, along with partitioning clustering algorithms are typical. The presented work use K-means algorithm, which is a popular clustering technique. Utilizing K-means algorithm, we worked with two different types of data: first, we gathered data with the use of XG-boost algorithm following completing the aggregation with K-means algorithm. Data was gathered utilizing Kali Linux environment, cicflowmeter traffic, and Putty Software tools with the use of diverse and simple attacks. The concept could assist in identifying new attack types, which are distinct from the known attacks, and labeling them based on the characteristics they will exhibit, as the dynamic nature regarding cyber threats means that new attack types often emerge, for which labeled data might not yet exist. The model counted the attacks and assigned numbers to each one of them. Secondly, We tried the same work on the ready data inside the Kaggle repository called (Intrusion Detection in Internet of Things Network), and the clustering model worked well and detected the number of attacks correctly as shown in the results section.

arxiv情報

著者 Noor Saud Abd,Noor Walid Khalid,Basim Hussein Ali
発行日 2025-03-26 14:42:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | The importance of the clustering model to detect new types of intrusion in data traffic はコメントを受け付けていません

A decision-theoretic approach to dealing with uncertainty in quantum mechanics

投稿日: 2025年3月27日 作成者: jarxiv

要約

量子力学の不確実性に対処するための意思決定理論的枠組みを提供します。
この不確実性は2つあります。一方では、量子システムが入っている状態について不確実性がある可能性があり、他方では、量子状態がわかっていても、測定が不確実な結果を生み出す可能性がある場合でも、量子の機械的不確実性に不可欠です。
したがって、私たちのフレームワークでは、測定は不確実な結果を伴う行為の役割を果たし、私たちの単純な意思決定理論的仮定は、そのような行為に関連するユーティリティ関数に生まれのルールがカプセル化されることを保証します。
このアプローチにより、量子力学から（正確な）確率理論を、より一般的でいわゆる不正確な確率アプローチの余地を残すという意味で、（正確な）確率理論を解除することができます。
調査結果の数学的な意味について説明します。これにより、ベナボリ、フェスチーニ、ザファロンによる最近の独創的な研究に意思決定理論的基盤を与えることができます。また、ドイツとウォレスによる以前のさまざまなアプローチとアプローチを比較します。

要約(オリジナル)

We provide a decision-theoretic framework for dealing with uncertainty in quantum mechanics. This uncertainty is two-fold: on the one hand there may be uncertainty about the state the quantum system is in, and on the other hand, as is essential to quantum mechanical uncertainty, even if the quantum state is known, measurements may still produce an uncertain outcome. In our framework, measurements therefore play the role of acts with an uncertain outcome and our simple decision-theoretic postulates ensure that Born’s rule is encapsulated in the utility functions associated with such acts. This approach allows us to uncouple (precise) probability theory from quantum mechanics, in the sense that it leaves room for a more general, so-called imprecise probabilities approach. We discuss the mathematical implications of our findings, which allow us to give a decision-theoretic foundation to recent seminal work by Benavoli, Facchini and Zaffalon, and we compare our approach to earlier and different approaches by Deutsch and Wallace.

arxiv情報

著者 Keano De Vos,Gert de Cooman,Alexander Erreygers,Jasper De Bock
発行日 2025-03-26 14:53:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, math.PR, quant-ph | A decision-theoretic approach to dealing with uncertainty in quantum mechanics はコメントを受け付けていません

State-Aware Perturbation Optimization for Robust Deep Reinforcement Learning

投稿日: 2025年3月27日 作成者: jarxiv

要約

最近、Deep Renection Learning（DRL）は、ロボット制御の有望なアプローチとして浮上しています。
ただし、実際のロボットにおけるDRLの展開は、環境摂動に対する感受性によって妨げられています。
既存のWhiteboxの敵対的攻撃は、局所勾配情報に依存し、すべての州で均一な摂動を適用してDRLの堅牢性を評価しますが、時間的ダイナミクスと状態固有の脆弱性を説明できません。
上記の課題に対抗するために、最初に敵対的な犠牲者ダイナミクスマルコフ決定プロセス（AVD-MDP）を確立することにより、DRLにおけるホワイトボックス攻撃の理論分析を実施し、攻撃を成功させるために必要かつ十分な条件を導き出します。
これに基づいて、摂動のステルス性と状態の訪問分散を最適化するために、Starという名前の選択的な補強敵攻撃方法を提案します。
Starは、最初にソフトマスクベースの状態ターゲットメカニズムを採用して、冗長摂動を最小限に抑え、ステルス性と攻撃の有効性を高めます。
次に、情報理論最適化の目的を組み込んで、摂動、環境状態、および被害者の行動の間の相互情報を最大化し、被害者エージェントを脆弱な状態に導き、最大限の収益削減を行う分散状態視力分布を確保します。
広範な実験は、Starが最先端のベンチマークよりも優れていることを示しています。

要約(オリジナル)

Recently, deep reinforcement learning (DRL) has emerged as a promising approach for robotic control. However, the deployment of DRL in real-world robots is hindered by its sensitivity to environmental perturbations. While existing whitebox adversarial attacks rely on local gradient information and apply uniform perturbations across all states to evaluate DRL robustness, they fail to account for temporal dynamics and state-specific vulnerabilities. To combat the above challenge, we first conduct a theoretical analysis of white-box attacks in DRL by establishing the adversarial victim-dynamics Markov decision process (AVD-MDP), to derive the necessary and sufficient conditions for a successful attack. Based on this, we propose a selective state-aware reinforcement adversarial attack method, named STAR, to optimize perturbation stealthiness and state visitation dispersion. STAR first employs a soft mask-based state-targeting mechanism to minimize redundant perturbations, enhancing stealthiness and attack effectiveness. Then, it incorporates an information-theoretic optimization objective to maximize mutual information between perturbations, environmental states, and victim actions, ensuring a dispersed state-visitation distribution that steers the victim agent into vulnerable states for maximum return reduction. Extensive experiments demonstrate that STAR outperforms state-of-the-art benchmarks.

arxiv情報

著者 Zongyuan Zhang,Tianyang Duan,Zheng Lin,Dong Huang,Zihan Fang,Zekai Sun,Ling Xiong,Hongbin Liang,Heming Cui,Yong Cui
発行日 2025-03-26 15:00:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.NI, cs.SY, eess.SY | State-Aware Perturbation Optimization for Robust Deep Reinforcement Learning はコメントを受け付けていません

Collaborative Storytelling and LLM: A Linguistic Analysis of Automatically-Generated Role-Playing Game Sessions

投稿日: 2025年3月27日 作成者: jarxiv

要約

ロールプレイングゲーム（RPG）は、プレイヤーが相互に対話して物語を作成するゲームです。
RPGにおけるプレイヤーの役割は、主にプレイヤーとそのキャラクター間の相互作用に基づいています。
主に口頭であるこの共有された物語のこの新たな形態は、注目を集めています。
特に、多くの著者は、ゲームの俳優としてのLLMの使用を調査しました。
この論文では、人間の干渉なしにRPGセッションを生成するように求められたときに、大規模な言語モデル（LLMS）の言語が口頭または書面による特徴をどの程度示すかを発見することを目指しています。
生成されたテキストの語彙的および構文的な特徴の言語分析を実施し、結果を会話の分析、人間のRPGセッションの転写、および本と比較します。
LLMは、口頭での会話、人間のRPGセッション、本など、他のすべてのテキストカテゴリとは異なるパターンを示すことがわかりました。
私たちの分析は、トレーニングがLLMSが自分自身を表現する方法にどのように影響するかを示しており、これらのツールの物語能力の重要な兆候を提供します。

要約(オリジナル)

Role-playing games (RPG) are games in which players interact with one another to create narratives. The role of players in the RPG is largely based on the interaction between players and their characters. This emerging form of shared narrative, primarily oral, is receiving increasing attention. In particular, many authors investigated the use of an LLM as an actor in the game. In this paper, we aim to discover to what extent the language of Large Language Models (LLMs) exhibit oral or written features when asked to generate an RPG session without human interference. We will conduct a linguistic analysis of the lexical and syntactic features of the generated texts and compare the results with analyses of conversations, transcripts of human RPG sessions, and books. We found that LLMs exhibit a pattern that is distinct from all other text categories, including oral conversations, human RPG sessions and books. Our analysis has shown how training influences the way LLMs express themselves and provides important indications of the narrative capabilities of these tools.

arxiv情報

著者 Alessandro Maisto
発行日 2025-03-26 15:10:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Collaborative Storytelling and LLM: A Linguistic Analysis of Automatically-Generated Role-Playing Game Sessions はコメントを受け付けていません

$β$-GNN: A Robust Ensemble Approach Against Graph Structure Perturbation

投稿日: 2025年3月27日 作成者: jarxiv

要約

グラフニューラルネットワーク（GNNS）は、ワークロードスケジューリング、異常検出、リソース管理のアプリケーションを使用して、コンピューティングシステムの効率的な動作とセキュリティにおいてますます重要な役割を果たしています。
ただし、ネットワークの摂動に対する脆弱性は大きな課題をもたらします。
$ \ beta $ -gnnを提案します。これは、クリーンなデータパフォーマンスを犠牲にすることなくGNNの堅牢性を高めるモデルです。
$ \ beta $ -gnnは、gnnと多層パーセプトロンを組み合わせて、加重アンサンブルを使用します。
学習された動的重量、$ \ beta $は、GNNの貢献度を調整します。
この$ \ beta $は、GNNの影響を重み付けするだけでなく、データの摂動レベルも示しており、プロアクティブな緩和を可能にします。
多様なデータセットでの実験結果は、$ \ beta $ -gnnの優れた敵対的精度と攻撃の重大度の定量化を示しています。
重要なことに、$ \ beta $ -gnnは摂動の仮定を回避し、クリーンなデータ構造とパフォーマンスを維持します。

要約(オリジナル)

Graph Neural Networks (GNNs) are playing an increasingly important role in the efficient operation and security of computing systems, with applications in workload scheduling, anomaly detection, and resource management. However, their vulnerability to network perturbations poses a significant challenge. We propose $\beta$-GNN, a model enhancing GNN robustness without sacrificing clean data performance. $\beta$-GNN uses a weighted ensemble, combining any GNN with a multi-layer perceptron. A learned dynamic weight, $\beta$, modulates the GNN’s contribution. This $\beta$ not only weights GNN influence but also indicates data perturbation levels, enabling proactive mitigation. Experimental results on diverse datasets show $\beta$-GNN’s superior adversarial accuracy and attack severity quantification. Crucially, $\beta$-GNN avoids perturbation assumptions, preserving clean data structure and performance.

arxiv情報

著者 Haci Ismail Aslan,Philipp Wiesner,Ping Xiong,Odej Kao
発行日 2025-03-26 15:24:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | $β$-GNN: A Robust Ensemble Approach Against Graph Structure Perturbation はコメントを受け付けていません

Procedural Knowledge Ontology (PKO)

投稿日: 2025年3月27日 作成者: jarxiv

要約

プロセス、ワークフロー、ガイドラインは、工業企業の正しい機能を確保するための中核です。工場ライン、機械、またはサービスの運用を成功させるために、業界のオペレーターは過去の経験とノウハウに依存しています。
その効果は、この手続き的知識（PK）が暗黙のままであり、そのため、効率的かつ効果的に活用することが困難であることです。
このホワイトペーパーでは、既存のオントロジーを再利用および拡張することにより、手順の明示的なモデリングとその実行を可能にする手続き上の知識オントロジーであるPKOを紹介します。
PKOは、3つの不均一な産業用ユースケースから収集された要件に基づいて構築されており、ライフサイクルを通してPKのガバナンスをサポートするために共有された相互運用可能な表現に依存するAIおよびデータ駆動型ツールによって活用される可能性があります。
その構造と設計の方法論を説明し、PKの誘発と搾取のためにPKOを活用するアプリケーションについて議論することにより、その関連性、品質、および影響の概要を説明します。

要約(オリジナル)

Processes, workflows and guidelines are core to ensure the correct functioning of industrial companies: for the successful operations of factory lines, machinery or services, often industry operators rely on their past experience and know-how. The effect is that this Procedural Knowledge (PK) remains tacit and, as such, difficult to exploit efficiently and effectively. This paper presents PKO, the Procedural Knowledge Ontology, which enables the explicit modeling of procedures and their executions, by reusing and extending existing ontologies. PKO is built on requirements collected from three heterogeneous industrial use cases and can be exploited by any AI and data-driven tools that rely on a shared and interoperable representation to support the governance of PK throughout its life cycle. We describe its structure and design methodology, and outline its relevance, quality, and impact by discussing applications leveraging PKO for PK elicitation and exploitation.

arxiv情報

著者 Valentina Anita Carriero,Mario Scrocca,Ilaria Baroni,Antonia Azzini,Irene Celino
発行日 2025-03-26 15:28:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Procedural Knowledge Ontology (PKO) はコメントを受け付けていません

TN-Eval: Rubric and Evaluation Protocols for Measuring the Quality of Behavioral Therapy Notes

投稿日: 2025年3月27日 作成者: jarxiv

要約

行動療法のメモは、法的コンプライアンスと患者ケアの両方にとって重要です。
身体的健康の進行状況ノートとは異なり、行動療法のメモの品質基準は未発達のままです。
このギャップに対処するために、私たちは認可されたセラピストと協力して、完全性、簡潔さ、忠実さである重要な次元で治療ノートを評価するための包括的なルーブリックを設計しました。
さらに、Behavioral Healthの会話のパブリックデータセットをセラピスト作成したメモとLLMが生成したメモを拡張し、評価フレームワークを適用して品質を測定します。
（1）ルーブリックベースの手動評価プロトコルは、従来のリッカートスケールの注釈よりも信頼性が高く解釈可能な結果を​​提供します。
（2）LLMSは、完全性と簡潔さを評価する際に人間の評価者を模倣できますが、忠実さと闘うことができます。
（3）セラピストが書いたノートは、しばしば完全性と簡潔さを欠いているが、LLMで生成されたノートには幻覚が含まれている。
驚くべきことに、盲目的な検査では、セラピストはLLMが生成したメモを、セラピストが書いたメモよりも優れていることを好み、判断します。

要約(オリジナル)

Behavioral therapy notes are important for both legal compliance and patient care. Unlike progress notes in physical health, quality standards for behavioral therapy notes remain underdeveloped. To address this gap, we collaborated with licensed therapists to design a comprehensive rubric for evaluating therapy notes across key dimensions: completeness, conciseness, and faithfulness. Further, we extend a public dataset of behavioral health conversations with therapist-written notes and LLM-generated notes, and apply our evaluation framework to measure their quality. We find that: (1) A rubric-based manual evaluation protocol offers more reliable and interpretable results than traditional Likert-scale annotations. (2) LLMs can mimic human evaluators in assessing completeness and conciseness but struggle with faithfulness. (3) Therapist-written notes often lack completeness and conciseness, while LLM-generated notes contain hallucination. Surprisingly, in a blind test, therapists prefer and judge LLM-generated notes to be superior to therapist-written notes.

arxiv情報

著者 Raj Sanjay Shah,Lei Xu,Qianchu Liu,Jon Burnsky,Drew Bertagnolli,Chaitanya Shivade
発行日 2025-03-26 15:40:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | TN-Eval: Rubric and Evaluation Protocols for Measuring the Quality of Behavioral Therapy Notes はコメントを受け付けていません

Intelligent Code Embedding Framework for High-Precision Ransomware Detection via Multimodal Execution Path Analysis

投稿日: 2025年3月27日 作成者: jarxiv

要約

現代の脅威の風景は、洗練された増加、伝統的な検出方法に挑戦し、複雑な敵対的な戦術に対処できる革新的なソリューションを必要とすることで進化し続けています。
マルチモーダル実行パス分析を通じてランサムウェア活動を特定するための新しいフレームワークが開発され、高次元の埋め込みとダイナミックヒューリスティック導出メカニズムを統合して、多様な攻撃バリアント全体で行動パターンをキャプチャしました。
このアプローチでは、高い順応性を実証し、観測戦略と多型の特性を効果的に緩和し、検出を回避するためにランサムウェアファミリーがしばしば採用しました。
包括的な実験的評価により、特にさまざまな暗号化速度と難読化された実行フローの条件下で、ベースライン技術と比較して、精度、リコール、および精度メトリックの有意な進歩が明らかになりました。
このフレームワークは、スケーラブルで計算効率の良いパフォーマンスを実現し、リソース制約の環境から高性能インフラストラクチャまで、さまざまなシステム構成にわたって堅牢な適用性を確保しました。
注目すべき調査結果には、洗練された暗号化メカニズムを採用しているランサムウェアファミリーであっても、偽陽性率の低下と検出レイテンシの強化が含まれます。
モジュラー設計により、追加のモダリティのシームレスな統合により、新たな脅威ベクターに対する拡張性と将来の防止が可能になりました。
定量分析では、システムのエネルギー効率をさらに強調し、厳しい運用上の制約を伴う環境での展開の実用性を強調しました。
結果は、ますます複雑な脅威からデジタルエコシステムを保護するために、高度な計算技術と動的適応性を統合することの重要性を強調しています。

要約(オリジナル)

Modern threat landscapes continue to evolve with increasing sophistication, challenging traditional detection methodologies and necessitating innovative solutions capable of addressing complex adversarial tactics. A novel framework was developed to identify ransomware activity through multimodal execution path analysis, integrating high-dimensional embeddings and dynamic heuristic derivation mechanisms to capture behavioral patterns across diverse attack variants. The approach demonstrated high adaptability, effectively mitigating obfuscation strategies and polymorphic characteristics often employed by ransomware families to evade detection. Comprehensive experimental evaluations revealed significant advancements in precision, recall, and accuracy metrics compared to baseline techniques, particularly under conditions of variable encryption speeds and obfuscated execution flows. The framework achieved scalable and computationally efficient performance, ensuring robust applicability across a range of system configurations, from resource-constrained environments to high-performance infrastructures. Notable findings included reduced false positive rates and enhanced detection latency, even for ransomware families employing sophisticated encryption mechanisms. The modular design allowed seamless integration of additional modalities, enabling extensibility and future-proofing against emerging threat vectors. Quantitative analyses further highlighted the system’s energy efficiency, emphasizing its practicality for deployment in environments with stringent operational constraints. The results underline the importance of integrating advanced computational techniques and dynamic adaptability to safeguard digital ecosystems from increasingly complex threats.

arxiv情報

著者 Levi Gareth,Maximilian Fairbrother,Peregrine Blackwood,Lucasta Underhill,Benedict Ruthermore
発行日 2025-03-26 15:52:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | Intelligent Code Embedding Framework for High-Precision Ransomware Detection via Multimodal Execution Path Analysis はコメントを受け付けていません

Probabilistic Forecasting for Network Resource Analysis in Integrated Terrestrial and Non-Terrestrial Networks

投稿日: 2025年3月27日 作成者: jarxiv

要約

効率的なリソース管理は、非地球ネットワーク（NTN）にとって重要であり、リモートおよび不十分な地域で一貫した高品質のサービスを提供します。
長期にわたる記憶（LSTM）などの従来のシングルポイント予測方法は、陸生ネットワークで使用されていますが、衛星ダイナミクス、信号潜時、カバレッジのばらつきの複雑さのために、NTNSで不足していることがよくあります。
予測の不確実性を定量化する確率的予測は、堅牢な選択肢です。
この論文では、確率的予測技術、特にSFFのNTNリソース割り当てシナリオへの適用を評価します。
私たちの結果は、LSTMなどの単一点予測技術と比較して、確率的予測のさまざまなNTNセグメントの帯域幅と容量の要件を予測する際の有効性を示しています。
結果は、黒人の確率的予測モデルが正確で信頼できる予測を提供し、不確実性を定量化する可能性を示しており、NTNリソース割り当てを最適化するために不可欠です。
ペーパーの最後に、統合された地球ネットワーク（TN）-NTN環境で確率的予測を使用するためのアプリケーションシナリオと標準化ロードマップも提示します。

要約(オリジナル)

Efficient resource management is critical for Non-Terrestrial Networks (NTNs) to provide consistent, high-quality service in remote and under-served regions. While traditional single-point prediction methods, such as Long-Short Term Memory (LSTM), have been used in terrestrial networks, they often fall short in NTNs due to the complexity of satellite dynamics, signal latency and coverage variability. Probabilistic forecasting, which quantifies the uncertainties of the predictions, is a robust alternative. In this paper, we evaluate the application of probabilistic forecasting techniques, in particular SFF, to NTN resource allocation scenarios. Our results show their effectiveness in predicting bandwidth and capacity requirements in different NTN segments of probabilistic forecasting compared to single-point prediction techniques such as LSTM. The results show the potential of black probabilistic forecasting models to provide accurate and reliable predictions and to quantify their uncertainty, making them indispensable for optimizing NTN resource allocation. At the end of the paper, we also present application scenarios and a standardization roadmap for the use of probabilistic forecasting in integrated Terrestrial Network (TN)-NTN environments.

arxiv情報

著者 Cristian J. Vaca-Rubio,Vaishnavi Kasuluru,Engin Zeydan,Luis Blanco,Roberto Pereira,Marius Caus,Kapal Dev
発行日 2025-03-26 15:54:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.NI, eess.SP | Probabilistic Forecasting for Network Resource Analysis in Integrated Terrestrial and Non-Terrestrial Networks はコメントを受け付けていません

Context-Aware Semantic Recomposition Mechanism for Large Language Models

投稿日: 2025年3月27日 作成者: jarxiv

要約

コンテキスト認識処理メカニズムは、言語生成モデルのセマンティックおよびコンテキスト機能を改善するための探査の重要な領域になりつつあります。
コンテキスト認識のセマンティック再構成メカニズム（CASRM）は、大規模なテキスト生成タスクにおけるコヒーレンス、コンテキスト適応性、およびエラー伝播に対処するために設計された新しいフレームワークとして導入されました。
動的に生成されたコンテキストベクトルと注意変調層の統合を通じて、CASRMはトークンレベルの表現とより広範なコンテキスト依存関係とのアラインメントを強化します。
実験的評価により、技術、会話、物語のテキストなど、複数のドメインにわたるセマンティックコヒーレンスの大幅な改善が実証されました。
目に見えないドメインや曖昧な入力に適応する能力は、多様な一連のテストシナリオを使用して評価され、提案されたメカニズムの堅牢性を強調しました。
詳細な計算分析により、CASRMは追加の処理オーバーヘッドを導入する一方で、言語精度と文脈上の関連性の向上は、複雑さのわずかな増加を上回ることが明らかになりました。
また、このフレームワークは、シーケンシャルタスクでのエラー伝播を正常に軽減し、ダイアログの継続とマルチステップテキスト合成のパフォーマンスを向上させます。
トークンレベルの注意分布の追加の調査により、コンテキストを意識した強化を通じて有効な動的フォーカスシフトが強調されました。
調査結果は、CASRMが既存の言語モデルアーキテクチャにコンテキストインテリジェンスを統合するためのスケーラブルで柔軟なソリューションを提供することを示唆しています。

要約(オリジナル)

Context-aware processing mechanisms have increasingly become a critical area of exploration for improving the semantic and contextual capabilities of language generation models. The Context-Aware Semantic Recomposition Mechanism (CASRM) was introduced as a novel framework designed to address limitations in coherence, contextual adaptability, and error propagation in large-scale text generation tasks. Through the integration of dynamically generated context vectors and attention modulation layers, CASRM enhances the alignment between token-level representations and broader contextual dependencies. Experimental evaluations demonstrated significant improvements in semantic coherence across multiple domains, including technical, conversational, and narrative text. The ability to adapt to unseen domains and ambiguous inputs was evaluated using a diverse set of test scenarios, highlighting the robustness of the proposed mechanism. A detailed computational analysis revealed that while CASRM introduces additional processing overhead, the gains in linguistic precision and contextual relevance outweigh the marginal increase in complexity. The framework also successfully mitigates error propagation in sequential tasks, improving performance in dialogue continuation and multi-step text synthesis. Additional investigations into token-level attention distribution emphasized the dynamic focus shifts enabled through context-aware enhancements. The findings suggest that CASRM offers a scalable and flexible solution for integrating contextual intelligence into existing language model architectures.

arxiv情報

著者 Richard Katrix,Quentin Carroway,Rowan Hawkesbury,Matthias Heathfield
発行日 2025-03-26 15:57:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Context-Aware Semantic Recomposition Mechanism for Large Language Models はコメントを受け付けていません