Synthesizing Diverse Network Flow Datasets with Scalable Dynamic Multigraph Generation

投稿日: 2025年5月13日 作成者: jarxiv

要約

プライバシー、セキュリティ、および計算上の制約のため、実際のネットワークデータセットを取得することは、しばしば困難です。
このようなデータセットがない場合、グラフ生成モデルは合成データセットを作成するための不可欠なツールになります。
この論文では、現実世界のネットワークを代表する高忠実度の合成ネットワークフローデータセットを生成するための新しい機械学習モデルを紹介します。
私たちのアプローチでは、構造生成のための確率的クロネッカーグラフジェネレーターを使用した動的マルチグラフの生成と、特徴生成のための表形式生成敵ネットワークが含まれます。
さらに、グラフアライメントにXGBoost（Extreme Gradient Boosting）モデルを使用し、生成されたグラフ構造に特徴の正確なオーバーレイを確保します。
合成グラフの精度と多様性の両方を評価する新しいメトリックを使用して、モデルを評価します。
私たちの結果は、同様の効率を維持しながら、以前の大規模なグラフ生成方法にわたって精度の改善を示しています。
また、合成グラフデータセットの作成における精度と多様性のトレードオフも調査します。これは、関連する作品では広範囲にカバーされていないトピックです。
私たちの貢献には、大規模な現実世界のNetflowデータセットの合成と評価、および合成グラフ生成モデルを評価するための新しいメトリックの定義が含まれます。

要約(オリジナル)

Obtaining real-world network datasets is often challenging because of privacy, security, and computational constraints. In the absence of such datasets, graph generative models become essential tools for creating synthetic datasets. In this paper, we introduce a novel machine learning model for generating high-fidelity synthetic network flow datasets that are representative of real-world networks. Our approach involves the generation of dynamic multigraphs using a stochastic Kronecker graph generator for structure generation and a tabular generative adversarial network for feature generation. We further employ an XGBoost (eXtreme Gradient Boosting) model for graph alignment, ensuring accurate overlay of features onto the generated graph structure. We evaluate our model using new metrics that assess both the accuracy and diversity of the synthetic graphs. Our results demonstrate improvements in accuracy over previous large-scale graph generation methods while maintaining similar efficiency. We also explore the trade-off between accuracy and diversity in synthetic graph dataset creation, a topic not extensively covered in related works. Our contributions include the synthesis and evaluation of large real-world netflow datasets and the definition of new metrics for evaluating synthetic graph generative models.

arxiv情報

著者 Arya Grayeli,Vipin Swarup,Steven E. Noel
発行日 2025-05-12 17:26:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NI | Synthesizing Diverse Network Flow Datasets with Scalable Dynamic Multigraph Generation はコメントを受け付けていません

MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering

投稿日: 2025年5月13日 作成者: jarxiv

要約

Iterative Machine Learning Engineering（MLE）ワークフローで、自律的な大手言語モデル（LLM）エージェントを体系的に強化するためのジムスタイルのフレームワークであるMLE-Dojoを紹介します。
主に静的データセットや単一のアトリック評価に依存する既存のベンチマークとは異なり、MLE-Dojoは、構造化されたフィードバックループを介してソリューションを繰り返し実験、デバッグ、および改良できるインタラクティブな環境を提供します。
200以上の実際のKaggleの課題に基づいて構築されたMLE-Dojoは、データ処理、アーキテクチャ検索、ハイパーパラメーターチューニング、コードデバッグなどの現実的なエンジニアリングシナリオを反映するために、多様なオープンエンドMLEタスクを慎重にキュレーションしています。
その完全に実行可能な環境は、監視された微調整と強化学習の両方を介して包括的なエージェントトレーニングをサポートし、反復実験、現実的なデータサンプリング、リアルタイムの結果の検証を促進します。
8つのフロンティアLLMの広範な評価により、現在のモデルは意味のある反復改善を達成しますが、長期溶液を自律的に生成し、複雑なエラーを効率的に解決することで依然として大きな制限を示しています。
さらに、MLE-Dojoの柔軟で拡張可能なアーキテクチャは、多様なデータソース、ツール、および評価プロトコルをシームレスに統合し、モデルベースのエージェントの調整と相互運用性、スケーラビリティ、および再現性を一意に可能にします。
私たちは、フレームワークとベンチマークをオープンソースで、コミュニティ主導のイノベーションを次世代のMLEエージェントに促進します。

要約(オリジナル)

We introduce MLE-Dojo, a Gym-style framework for systematically reinforcement learning, evaluating, and improving autonomous large language model (LLM) agents in iterative machine learning engineering (MLE) workflows. Unlike existing benchmarks that primarily rely on static datasets or single-attempt evaluations, MLE-Dojo provides an interactive environment enabling agents to iteratively experiment, debug, and refine solutions through structured feedback loops. Built upon 200+ real-world Kaggle challenges, MLE-Dojo covers diverse, open-ended MLE tasks carefully curated to reflect realistic engineering scenarios such as data processing, architecture search, hyperparameter tuning, and code debugging. Its fully executable environment supports comprehensive agent training via both supervised fine-tuning and reinforcement learning, facilitating iterative experimentation, realistic data sampling, and real-time outcome verification. Extensive evaluations of eight frontier LLMs reveal that while current models achieve meaningful iterative improvements, they still exhibit significant limitations in autonomously generating long-horizon solutions and efficiently resolving complex errors. Furthermore, MLE-Dojo’s flexible and extensible architecture seamlessly integrates diverse data sources, tools, and evaluation protocols, uniquely enabling model-based agent tuning and promoting interoperability, scalability, and reproducibility. We open-source our framework and benchmarks to foster community-driven innovation towards next-generation MLE agents.

arxiv情報

著者 Rushi Qiang,Yuchen Zhuang,Yinghao Li,Dingu Sagar V K,Rongzhi Zhang,Changhao Li,Ian Shu-Hei Wong,Sherry Yang,Percy Liang,Chao Zhang,Bo Dai
発行日 2025-05-12 17:35:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering はコメントを受け付けていません

Relative Overfitting and Accept-Reject Framework

投稿日: 2025年5月13日 作成者: jarxiv

要約

現在、大規模な言語モデル（LLMS）のスケーリング法則は、課題とボトルネックに直面しています。
このペーパーでは、限界リターンの減少下での信号対雑音比の変化に起因するノイズ効果がこれらの問題の根本原因であると仮定しています。
このノイズを制御するために、パフォーマンスの利点と短所を持つモデル間の違いを調査し、「相対的な過剰適合」の概念を導入しました。
補完的な強みに基づいて、アプリケーションフレームワーク、Accept-reject（AR）を提案しました。
自然言語処理（NLP）では、議論の媒体としてLLMSおよびSmall Languageモデル（SLM）を使用します。
このフレームワークにより、SLMは直感的に予想される負の影響ではなく、LLMの決定出力に普遍的なプラスの影響を及ぼすことができます。
基本的な言語モデリング、ロングコンテキストタスク、サブジェクト検査、質問回答（QA）ベンチマークなど、複数のデータセットにわたって主流のアーキテクチャと事前に訓練された主流モデルに基づいて、自己構築モデルを使用してアプローチを検証しました。
結果は、私たちの構造を通じて、LLMのパラメーターを増やすのと比較して、多くのシナリオでパラメーターと計算コストが大幅に低く、より良いパフォーマンスの改善を達成できることを示しています。
これらの改善は、普遍的で安定しており、効果的です。
さらに、コンピュータービジョン（CV）や科学のAIなど、他の機械学習ドメインの「相対的な過剰適合」とARフレームワークの可能性を調査します。
提案されたアプローチが、法律の規模を既存のボトルネックを克服するのに役立つことを願っています。

要約(オリジナル)

Currently, the scaling law of Large Language Models (LLMs) faces challenges and bottlenecks. This paper posits that noise effects, stemming from changes in the signal-to-noise ratio under diminishing marginal returns, are the root cause of these issues. To control this noise, we investigated the differences between models with performance advantages and disadvantages, introducing the concept of ‘relative overfitting.’ Based on their complementary strengths, we have proposed an application framework, Accept-Reject (AR). In Natural Language Processing (NLP), we use LLMs and Small Language Models (SLMs) as the medium for discussion. This framework enables SLMs to exert a universal positive influence on LLM decision outputs, rather than the intuitively expected negative influence. We validated our approach using self-built models based on mainstream architectures and pre-trained mainstream models across multiple datasets, including basic language modeling, long-context tasks, subject examination, and question-answering (QA) benchmarks. The results demonstrate that through our structure, compared to increasing the LLM’s parameters, we can achieve better performance improvements with significantly lower parameter and computational costs in many scenarios. These improvements are universal, stable, and effective. Furthermore, we explore the potential of ‘relative overfitting’ and the AR framework in other machine learning domains, such as computer vision (CV) and AI for science. We hope the proposed approach can help scale laws overcome existing bottlenecks.

arxiv情報

著者 Yanxin Liu,Yunqi Zhang
発行日 2025-05-12 17:36:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Relative Overfitting and Accept-Reject Framework はコメントを受け付けていません

Analytic theory of dropout regularization

投稿日: 2025年5月13日 作成者: jarxiv

要約

ドロップアウトは、過剰適合を緩和するために人工ニューラルネットワークのトレーニングに広く使用されている正則化手法です。
より堅牢な表現を促進するために、トレーニング中にネットワークのサブセットを動的に非アクティブ化することで構成されています。
その広範な採用にもかかわらず、ドロップアウトの確率はしばしばヒューリスティックに選択され、その成功の理論的説明はまばらなままです。
ここでは、オンラインの確率的勾配降下で訓練された2層ニューラルネットワークのドロップアウトを分析的に研究します。
高次元の制限では、トレーニング中のネットワークの進化を完全に特徴付ける一連の通常の微分方程式を導き出し、ドロップアウトの効果をキャプチャします。
一般化エラーと短い、中間、および長いトレーニング時間での最適なドロップアウト確率を説明する多くの正確な結果を取得します。
私たちの分析は、ドロップアウトが隠されたノード間の有害な相関を減らし、ラベルノイズの影響を軽減し、データのノイズのレベルとともに最適なドロップアウト確率が増加することを示しています。
私たちの結果は、広範な数値シミュレーションによって検証されています。

要約(オリジナル)

Dropout is a regularization technique widely used in training artificial neural networks to mitigate overfitting. It consists of dynamically deactivating subsets of the network during training to promote more robust representations. Despite its widespread adoption, dropout probabilities are often selected heuristically, and theoretical explanations of its success remain sparse. Here, we analytically study dropout in two-layer neural networks trained with online stochastic gradient descent. In the high-dimensional limit, we derive a set of ordinary differential equations that fully characterize the evolution of the network during training and capture the effects of dropout. We obtain a number of exact results describing the generalization error and the optimal dropout probability at short, intermediate, and long training times. Our analysis shows that dropout reduces detrimental correlations between hidden nodes, mitigates the impact of label noise, and that the optimal dropout probability increases with the level of noise in the data. Our results are validated by extensive numerical simulations.

arxiv情報

著者 Francesco Mori,Francesca Mignacco
発行日 2025-05-12 17:45:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.dis-nn, cond-mat.stat-mech, cs.LG, stat.ML | Analytic theory of dropout regularization はコメントを受け付けていません

A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values

投稿日: 2025年5月13日 作成者: jarxiv

要約

強化学習エージェントは超人的なパフォーマンスを達成できますが、彼らの決定はしばしば解釈が困難です。
この透明性の欠如は、特に人間の信頼と説明責任が不可欠な安全性の高い設定での展開を制限します。
この作業では、エージェントがその環境で観察するものを表す状態特徴の影響を通して強化学習を説明するための理論的枠組みを開発します。
説明から利益を得るエージェントと環境の相互作用の3つのコア要素を特定します：行動（エージェントが行うこと）、エージェントが達成すること）、および値推定（エージェントが達成することを期待するもの）。
状態機能を協力して各要素を生成し、協同組合ゲーム理論から原則的な方法であるShapley値を適用して、各機能の影響を特定します。
このアプローチは、明確なセマンティクスと理論的保証を使用して、数学的に根拠のある説明の家族をもたらします。
これらの説明が人間の直観とどのように整合するかを示すために、例示的な例を使用し、新しい洞察を明らかにします。
私たちのフレームワークは、以前の作業を統合し、拡張し、既存のアプローチの背後にある仮定を明示し、より解釈可能で信頼できる強化学習のための原則的な基盤を提供します。

要約(オリジナル)

Reinforcement learning agents can achieve superhuman performance, but their decisions are often difficult to interpret. This lack of transparency limits deployment, especially in safety-critical settings where human trust and accountability are essential. In this work, we develop a theoretical framework for explaining reinforcement learning through the influence of state features, which represent what the agent observes in its environment. We identify three core elements of the agent-environment interaction that benefit from explanation: behaviour (what the agent does), performance (what the agent achieves), and value estimation (what the agent expects to achieve). We treat state features as players cooperating to produce each element and apply Shapley values, a principled method from cooperative game theory, to identify the influence of each feature. This approach yields a family of mathematically grounded explanations with clear semantics and theoretical guarantees. We use illustrative examples to show how these explanations align with human intuition and reveal novel insights. Our framework unifies and extends prior work, making explicit the assumptions behind existing approaches, and offers a principled foundation for more interpretable and trustworthy reinforcement learning.

arxiv情報

著者 Daniel Beechey,Thomas M. S. Smith,Özgür Şimşek
発行日 2025-05-12 17:48:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | A Theoretical Framework for Explaining Reinforcement Learning with Shapley Values はコメントを受け付けていません

Automatically Differentiable Model Updating (ADiMU): conventional, hybrid, and neural network material model discovery including history-dependency

投稿日: 2025年5月13日 作成者: jarxiv

要約

フルフィールドの変位とグローバルな力データ（グローバル、間接発見）またはひずみストレスデータ（ローカル、直接発見）から履歴依存の材料モデルを見つける最初の自動的に微分可能なモデル更新（ADIMU）フレームワークを導入します。
Adimuは、従来の（物理ベース）、ニューラルネットワーク（データ駆動型）、およびハイブリッド材料モデルを更新できることを示しています。
さらに、このフレームワークでは、ユーザーが選択した材料モデルアーキテクチャとオプティマイザーに固有のものを超えるハイパーパラメーターまたは追加の量の微調整を必要としません。
Adimuの堅牢性と汎用性は、ローカルおよびグローバルな発見設定の両方で、TENから数百万のパラメーターにまたがるさまざまなモデルを更新することにより、広範囲に例証されています。
完全に微分可能なコードに依存して、アルゴリズムの実装は、共有計算グラフの効率的なバッチバッチ実行を介して履歴依存性の自動分化を可能にするベクトル化マップを活用します。
また、この貢献は、研究コミュニティを公然とサポートすることにより、将来の材料モデルアーキテクチャの統合、評価、および適用を促進することを目的としています。
したがって、Adimuは、Hookeaiという名前の慎重に設計および文書化されたソフトウェアに統合されたオープンソースの計算ツールとしてリリースされます。

要約(オリジナル)

We introduce the first Automatically Differentiable Model Updating (ADiMU) framework that finds any history-dependent material model from full-field displacement and global force data (global, indirect discovery) or from strain-stress data (local, direct discovery). We show that ADiMU can update conventional (physics-based), neural network (data-driven), and hybrid material models. Moreover, this framework requires no fine-tuning of hyperparameters or additional quantities beyond those inherent to the user-selected material model architecture and optimizer. The robustness and versatility of ADiMU is extensively exemplified by updating different models spanning tens to millions of parameters, in both local and global discovery settings. Relying on fully differentiable code, the algorithmic implementation leverages vectorizing maps that enable history-dependent automatic differentiation via efficient batched execution of shared computation graphs. This contribution also aims to facilitate the integration, evaluation and application of future material model architectures by openly supporting the research community. Therefore, ADiMU is released as an open-source computational tool, integrated into a carefully designed and documented software named HookeAI.

arxiv情報

著者 Bernardo P. Ferreira,Miguel A. Bessa
発行日 2025-05-12 17:49:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, physics.comp-ph | Automatically Differentiable Model Updating (ADiMU): conventional, hybrid, and neural network material model discovery including history-dependency はコメントを受け付けていません

Understanding Stragglers in Large Model Training Using What-if Analysis

投稿日: 2025年5月13日 作成者: jarxiv

要約

大規模な言語モデル（LLM）トレーニングは、今日最も要求の厳しい分散計算の1つであり、多くの場合、マシン間で頻繁に同期する数千のGPUが必要です。
このようなワークロードパターンは、ストラグラーの影響を受けやすくなり、トレーニングは少数の遅い労働者によって停止できます。
bytedanceでは、ストラグラーは常にハードウェアの障害によって些細なことではなく、複数の複雑な要因から生じる可能性があります。
この作業の目的は、LLMトレーニングにおけるStragglerの問題に関する包括的な研究を提示することを目的としており、Bytedance LLMトレーニングクラスターから収集された5か月のトレースを使用しています。
コア方法論は、ストラグラーなしでシナリオをシミュレートし、実際のケースと対照的なシナリオをシミュレートするwhat-if分析です。
この方法を使用して、次の質問を研究します。（1）ストラグラーがトレーニングジョブにどのように影響するか、および職務遂行にどのような影響を与えるか。
（2）ストラグラーは時間的または空間的なパターンを示します。
（3）ストラグラーの潜在的な根本原因は何ですか？

要約(オリジナル)

Large language model (LLM) training is one of the most demanding distributed computations today, often requiring thousands of GPUs with frequent synchronization across machines. Such a workload pattern makes it susceptible to stragglers, where the training can be stalled by few slow workers. At ByteDance we find stragglers are not trivially always caused by hardware failures, but can arise from multiple complex factors. This work aims to present a comprehensive study on the straggler issues in LLM training, using a five-month trace collected from our ByteDance LLM training cluster. The core methodology is what-if analysis that simulates the scenario without any stragglers and contrasts with the actual case. We use this method to study the following questions: (1) how often do stragglers affect training jobs, and what effect do they have on job performance; (2) do stragglers exhibit temporal or spatial patterns; and (3) what are the potential root causes for stragglers?

arxiv情報

著者 Jinkun Lin,Ziheng Jiang,Zuquan Song,Sida Zhao,Menghan Yu,Zhanghan Wang,Chenyuan Wang,Zuocheng Shi,Xiang Shi,Wei Jia,Zherui Liu,Shuguang Wang,Haibin Lin,Xin Liu,Aurojit Panda,Jinyang Li
発行日 2025-05-12 17:52:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | Understanding Stragglers in Large Model Training Using What-if Analysis はコメントを受け付けていません

Semantic Retention and Extreme Compression in LLMs: Can We Have Both?

投稿日: 2025年5月13日 作成者: jarxiv

要約

大規模な言語モデル（LLM）の展開における指数関数的な成長により、計算コストとメモリコストを削減するための効率的なモデル圧縮技術が必要になりました。
剪定と量子化は約束を示していますが、それらの潜在能力の組み合わせはほとんど未踏のままです。
このホワイトペーパーでは、関節圧縮と、剪定と量子化を戦略的に組み合わせることで、単一メソッドアプローチと比較して優れたパフォーマンスと圧縮率がどのように生じるかを調べます。
LLMのパフォーマンスを正確に評価する際の課題を認識して、以前の評価フレームワークの重要な制限に対処し、モデル圧縮とセマンティック保存の間のトレードオフを定量化する新しいメトリックであるセマンティック保持圧縮圧縮率（SRCR）を導入し、プルーニング定量化構成の最適化を促進します。
実験は、推奨される組み合わせが、同じ理論的圧縮率で同等の量子化のみのモデルと比較して、平均して20％のパフォーマンス増加を達成することを示しています。

要約(オリジナル)

The exponential growth in Large Language Model (LLM) deployment has intensified the need for efficient model compression techniques to reduce computational and memory costs. While pruning and quantization have shown promise, their combined potential remains largely unexplored. In this paper, we examine joint compression and how strategically combining pruning and quantization could yield superior performance-to-compression ratios compared to single-method approaches. Recognizing the challenges in accurately assessing LLM performance, we address key limitations of previous evaluation frameworks and introduce the Semantic Retention Compression Rate (SrCr), a novel metric that quantifies the trade-off between model compression and semantic preservation, facilitating the optimization of pruning-quantization configurations. Experiments demonstrate that our recommended combination achieves, on average, a 20% performance increase compared to an equivalent quantization-only model at the same theoretical compression rate.

arxiv情報

著者 Stanislas Laborde,Martin Cousseau,Antoun Yaacoub,Lionel Prevost
発行日 2025-05-12 07:23:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: (Primary), 68T50, cs.AI, cs.CL, cs.LG, I.2.6 | Semantic Retention and Extreme Compression in LLMs: Can We Have Both? はコメントを受け付けていません

AttentionInfluence: Adopting Attention Head Influence for Weak-to-Strong Pretraining Data Selection

投稿日: 2025年5月13日 作成者: jarxiv

要約

最近、LLMSの複雑な推論能力を向上させるために、推論集約型の事前削除データを収集することに関心が高まっています。
通常、以前のアプローチは、人間またはLLMによる標識が必要な、そのようなデータを識別するために監督された分類器に依存しており、多くの場合、ドメイン固有のバイアスを導入します。
注意ヘッドはコンテキスト内の推論に不可欠であるため、監督信号のないシンプルで効果的でトレーニングのない方法であるAttentionInfluenceを提案します。
私たちのアプローチにより、小さな前提条件の言語モデルは、シンプルな注意ヘッドマスキング操作を介して強力なデータセレクターとして機能することができます。
具体的には、これらのヘッドをマスキングするときに検索ヘッドを特定し、損失の差を計算します。
1.3Bパラメーターの密なモデルに注意を払うと、241BトークンのSMOLLMコーパスでデータ選択を行い、SMOLLMコーパスと73Bトークンを含む選択されたサブセットを1TトレーニングトークンとWSD学習レートスケジュールを使用して7Bパラメーター密度モデルを前処理します。
私たちの実験結果は、1.4ppから3.5ppの範囲で、いくつかの知識集約的で推論が多いベンチマーク（つまり、MMLU、MMLU-Pro、Agieval-en、GSM8K、およびHumanval）にわたる大幅な改善を示しています。
これは、効果的な弱いスケーリングプロパティを示しており、小さなモデルは、推論中心のデータ選択のために有望でスケーラブルなパスを提供するより大きなモデルの最終パフォーマンスを改善します。

要約(オリジナル)

Recently, there has been growing interest in collecting reasoning-intensive pretraining data to improve LLMs’ complex reasoning ability. Prior approaches typically rely on supervised classifiers to identify such data, which requires labeling by humans or LLMs, often introducing domain-specific biases. Due to the attention heads being crucial to in-context reasoning, we propose AttentionInfluence, a simple yet effective, training-free method without supervision signal. Our approach enables a small pretrained language model to act as a strong data selector through a simple attention head masking operation. Specifically, we identify retrieval heads and compute the loss difference when masking these heads. We apply AttentionInfluence to a 1.3B-parameter dense model to conduct data selection on the SmolLM corpus of 241B tokens, and mix the SmolLM corpus with the selected subset comprising 73B tokens to pretrain a 7B-parameter dense model using 1T training tokens and WSD learning rate scheduling. Our experimental results demonstrate substantial improvements, ranging from 1.4pp to 3.5pp, across several knowledge-intensive and reasoning-heavy benchmarks (i.e., MMLU, MMLU-Pro, AGIEval-en, GSM8K, and HumanEval). This demonstrates an effective weak-to-strong scaling property, with small models improving the final performance of larger models-offering a promising and scalable path for reasoning-centric data selection.

arxiv情報

著者 Kai Hua,Steven Wu,Ge Zhang,Ke Shen
発行日 2025-05-12 07:25:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | AttentionInfluence: Adopting Attention Head Influence for Weak-to-Strong Pretraining Data Selection はコメントを受け付けていません

A Syntax-Injected Approach for Faster and More Accurate Sentiment Analysis

投稿日: 2025年5月13日 作成者: jarxiv

要約

センチメント分析（SA）は、自然言語処理（NLP）の重要な側面であり、テキストコンテンツの主観的評価に対処します。
構文の解析は、明示的な構文情報が説明可能性を提供しながら精度を向上させる可能性があるため、SAで役立ちますが、解析アルゴリズムの遅さが遅いため、実際には計算ボトルネックになる傾向があります。
このペーパーでは、SAに構文を挿入するためにSyntactic Parser（SELSP）をラベル付けするシーケンスを使用して、上記のボトルネックに対処します。
依存関係をシーケンスラベル付けの問題として扱うことにより、構文ベースのSAの速度を大幅に向上させます。
SELSPは、三元極性分類タスクでトレーニングおよび評価され、スタンザなどの従来のパーサーや、ベイダーのようなSAの浅い構文ルールを使用するヒューリスティックなアプローチと比較して、極性予測タスクのより速い性能とより良い精度を示します。
この速度の向上と精度の向上により、SELSPは研究と業界の両方でSAの実践者にとって特に魅力的です。
さらに、SELSPでいくつかのセンチメント辞書をテストして、どれがどれが極性予測タスクでパフォーマンスを向上させるかを確認します。
さらに、5ラベル分類タスクでトレーニングされた変圧器ベースのモデルとSELSPを比較します。
結果は、極性の判断の変動をキャプチャする辞書は、極性判断の変動を無視する辞書よりも良い結果を提供することを示しています。
さらに、SELSPは極性予測タスクにおけるトランスベースのモデルよりもかなり高速であることを示しています。

要約(オリジナル)

Sentiment Analysis (SA) is a crucial aspect of Natural Language Processing (NLP), addressing subjective assessments in textual content. Syntactic parsing is useful in SA because explicit syntactic information can improve accuracy while providing explainability, but it tends to be a computational bottleneck in practice due to the slowness of parsing algorithms. This paper addresses said bottleneck by using a SEquence Labeling Syntactic Parser (SELSP) to inject syntax into SA. By treating dependency parsing as a sequence labeling problem, we greatly enhance the speed of syntax-based SA. SELSP is trained and evaluated on a ternary polarity classification task, demonstrating its faster performance and better accuracy in polarity prediction tasks compared to conventional parsers like Stanza and to heuristic approaches that use shallow syntactic rules for SA like VADER. This increased speed and improved accuracy make SELSP particularly appealing to SA practitioners in both research and industry. In addition, we test several sentiment dictionaries on our SELSP to see which one improves the performance in polarity prediction tasks. Moreover, we compare the SELSP with Transformer-based models trained on a 5-label classification task. The results show that dictionaries that capture polarity judgment variation provide better results than dictionaries that ignore polarity judgment variation. Moreover, we show that SELSP is considerably faster than Transformer-based models in polarity prediction tasks.

arxiv情報

著者 Muhammad Imran,Olga Kellert,Carlos Gómez-Rodríguez
発行日 2025-05-12 07:42:18+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | A Syntax-Injected Approach for Faster and More Accurate Sentiment Analysis はコメントを受け付けていません