Simplified Swarm Learning Framework for Robust and Scalable Diagnostic Services in Cancer Histopathology

投稿日: 2025年4月24日 作成者: jarxiv

要約

プライバシーの懸念、不均衡なデータセット、相互運用性の問題を含むヘルスケアデータの複雑さは、革新的な機械学習ソリューションを必要とします。
連邦学習に代わる分散化された代替品であるSwarm Learning（SL）は、プライバシーを提供する分散トレーニングを提供しますが、ブロックチェーンテクノロジーへの依存により、アクセシビリティとスケーラビリティが妨げられます。
このペーパーでは、リソース制約の環境に合わせて調整された\ textIT {簡略化されたピアツーピアスウォーム学習（P2P-SL）フレームワーク}を紹介します。
ブロックチェーンの依存関係を排除し、軽量のピアツーピア通信を採用することにより、提案されたフレームワークは、データプライバシーを維持しながら、堅牢なモデル同期を保証します。
がんの組織病理学に適用されるこのフレームワークは、診断の精度を向上させるために、デンセンデコーダで強化されたTorchxrayvisionなどの最適化された事前訓練モデルを統合します。
広範な実験は、不均衡で偏ったデータセットの処理におけるフレームワークの有効性を示し、プライバシーを維持しながら集中モデルに匹敵するパフォーマンスを達成します。
この研究は、ヘルスケアで高度な機械学習を民主化する方法を舗装し、プライバシーに敏感な診断アプリケーションのためのスケーラブルでアクセス可能で効率的なソリューションを提供します。

要約(オリジナル)

The complexities of healthcare data, including privacy concerns, imbalanced datasets, and interoperability issues, necessitate innovative machine learning solutions. Swarm Learning (SL), a decentralized alternative to Federated Learning, offers privacy-preserving distributed training, but its reliance on blockchain technology hinders accessibility and scalability. This paper introduces a \textit{Simplified Peer-to-Peer Swarm Learning (P2P-SL) Framework} tailored for resource-constrained environments. By eliminating blockchain dependencies and adopting lightweight peer-to-peer communication, the proposed framework ensures robust model synchronization while maintaining data privacy. Applied to cancer histopathology, the framework integrates optimized pre-trained models, such as TorchXRayVision, enhanced with DenseNet decoders, to improve diagnostic accuracy. Extensive experiments demonstrate the framework’s efficacy in handling imbalanced and biased datasets, achieving comparable performance to centralized models while preserving privacy. This study paves the way for democratizing advanced machine learning in healthcare, offering a scalable, accessible, and efficient solution for privacy-sensitive diagnostic applications.

arxiv情報

著者 Yanjie Wu,Yuhao Ji,Saiho Lee,Juniad Akram,Ali Braytee,Ali Anaissi
発行日 2025-04-23 14:04:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG | Simplified Swarm Learning Framework for Robust and Scalable Diagnostic Services in Cancer Histopathology はコメントを受け付けていません

Simple Graph Contrastive Learning via Fractional-order Neural Diffusion Networks

投稿日: 2025年4月24日 作成者: jarxiv

要約

グラフ対照学習（GCL）は最近、監視されていないグラフ表現学習パラダイムとして進歩しました。
GCLアプローチは、増強に基づいた、拡張なしの方法に分類できます。
前者は複雑なデータ増強に依存していますが、後者は同じ入力の明確なビューを生成できるエンコーダーに依存します。
どちらのアプローチでも、トレーニングのために負のサンプルが必要になる場合があります。
この論文では、グラフ神経拡散モデルに基づいて、新しい増強のないGCLフレームワークを紹介します。
具体的には、分数微分方程式（FDE）によって管理される学習可能なエンコーダーを利用します。
各FDEは、微分演算子の順序パラメーターによって特徴付けられます。
これらのパラメーターを変化させることで、対照的な学習のために、ローカルまたはグローバル情報をキャプチャして、多様なビューを生成する学習可能なエンコーダーを作成できることを実証します。
私たちのモデルは、トレーニングに負のサンプルを必要とせず、同性愛と異種のデータセットの両方に適用できます。
さまざまなデータセット全体でその有効性を実証し、最先端のパフォーマンスを達成します。

要約(オリジナル)

Graph Contrastive Learning (GCL) has recently made progress as an unsupervised graph representation learning paradigm. GCL approaches can be categorized into augmentation-based and augmentation-free methods. The former relies on complex data augmentations, while the latter depends on encoders that can generate distinct views of the same input. Both approaches may require negative samples for training. In this paper, we introduce a novel augmentation-free GCL framework based on graph neural diffusion models. Specifically, we utilize learnable encoders governed by Fractional Differential Equations (FDE). Each FDE is characterized by an order parameter of the differential operator. We demonstrate that varying these parameters allows us to produce learnable encoders that generate diverse views, capturing either local or global information, for contrastive learning. Our model does not require negative samples for training and is applicable to both homophilic and heterophilic datasets. We demonstrate its effectiveness across various datasets, achieving state-of-the-art performance.

arxiv情報

著者 Yanan Zhao,Feng Ji,Kai Zhao,Xuhao Li,Qiyu Kang,Wenfei Liang,Yahya Alkhatib,Xingchao Jian,Wee Peng Tay
発行日 2025-04-23 14:17:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Simple Graph Contrastive Learning via Fractional-order Neural Diffusion Networks はコメントを受け付けていません

Right Question is Already Half the Answer: Fully Unsupervised LLM Reasoning Incentivization

投稿日: 2025年4月24日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、数学的推論などの挑戦的なタスクにおいて並外れた機能を実証していますが、推論能力を強化する既存の方法は、主に監視された微調整（SFT）に依存し、その後、事前訓練後の推論固有のデータに関する強化学習（RL）が続きます。
ただし、これらのアプローチは、人間が標識された推論の痕跡、黄金の答え、または事前に訓練された報酬モデルなど、外部の監督に大きく依存します。これは、スケーラビリティと実用的な適用性を制限します。
この作業では、エントロピーを最小限に抑えた政策最適化（EMPO）を提案します。これにより、完全に監視されていないLLMの推論のインセンティブを早期に試みます。
EMPOは、推論能力を奨励するために監視された情報を必要としません（つまり、検証可能な推論の痕跡、黄金の答えの問題、または追加の訓練を受けた報酬モデルもありません）。
潜在的なセマンティック空間での無効なユーザークエリでのLLMの予測エントロピーを継続的に最小化することにより、EMPOは、強力な柔軟性と実用性を備えた推論能力の純粋に自己監視された進化を可能にします。
私たちの実験は、数学的推論と自由形式の自然な推論タスクの両方におけるEMPOの競争力を示しています。
具体的には、監視された信号なしでは、\ oursは、数学ベンチマークでQWEN2.5-MATH-7Bベースの精度を30.7 \％から48.1 \％に高め、MMLU-PROで32.1 \％から50.1 \％のQWEN2.5-7Bベースの精度を改善します。

要約(オリジナル)

While large language models (LLMs) have demonstrated exceptional capabilities in challenging tasks such as mathematical reasoning, existing methods to enhance reasoning ability predominantly rely on supervised fine-tuning (SFT) followed by reinforcement learning (RL) on reasoning-specific data after pre-training. However, these approaches critically depend on external supervision–such as human-labelled reasoning traces, verified golden answers, or pre-trained reward models–which limits scalability and practical applicability. In this work, we propose Entropy Minimized Policy Optimization (EMPO), which makes an early attempt at fully unsupervised LLM reasoning incentivization. EMPO does not require any supervised information for incentivizing reasoning capabilities (i.e., neither verifiable reasoning traces, problems with golden answers, nor additional pre-trained reward models). By continuously minimizing the predictive entropy of LLMs on unlabeled user queries in a latent semantic space, EMPO enables purely self-supervised evolution of reasoning capabilities with strong flexibility and practicality. Our experiments demonstrate competitive performance of EMPO on both mathematical reasoning and free-form natural reasoning tasks. Specifically, without any supervised signals, \ours boosts the accuracy of Qwen2.5-Math-7B Base from 30.7\% to 48.1\% on mathematical benchmarks and improves the accuracy of Qwen2.5-7B Base from 32.1\% to 50.1\% on MMLU-Pro.

arxiv情報

著者 Qingyang Zhang,Haitao Wu,Changqing Zhang,Peilin Zhao,Yatao Bian
発行日 2025-04-23 14:25:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Right Question is Already Half the Answer: Fully Unsupervised LLM Reasoning Incentivization はコメントを受け付けていません

QAOA-PCA: Enhancing Efficiency in the Quantum Approximate Optimization Algorithm via Principal Component Analysis

投稿日: 2025年4月24日 作成者: jarxiv

要約

Quantum Amproximate Optimization Algorithm（QAOA）は、短期的なデバイスで組み合わせ最適化問題を解決するための有望な変分アルゴリズムです。
ただし、QAOA回路の層の数が増加すると、ソリューションの品質と相関すると、最適化するパラメーターの数が直線的に増加します。
これにより、古典的なオプティマイザーが必要とする反復が増え、回路の実行が必要になるにつれて計算負担が増加します。
この問題を軽減するために、QAOAパラメーター空間の次元を減らすために主成分分析（PCA）を使用する新しい再分析手法であるQAOA-PCAを紹介します。
より小さな問題インスタンスの最適化されたパラメーターから主成分を抽出することにより、QAOA-PCAは、より大きなインスタンスでのパラメーターが少ない効率的な最適化を促進します。
顕著なMaxCut問題に関する経験的評価は、QAOA-PCAが標準のQAOAよりも一貫して少ない反復を必要とし、実質的な効率性の向上を達成することを示しています。
これは、同じ数のレイヤーを持つQAOAと比較して近似比がわずかに減少するコストでもたらされますが、QAOA-PCAは、パラメーターカウントと一致する場合、ほとんど常に標準QAOAを上回ります。
QAOA-PCAは、効率とパフォーマンスの間の好ましいバランスを取り、ソリューションの品質を大幅に損なうことなく最適化を削減します。

要約(オリジナル)

The Quantum Approximate Optimization Algorithm (QAOA) is a promising variational algorithm for solving combinatorial optimization problems on near-term devices. However, as the number of layers in a QAOA circuit increases, which is correlated with the quality of the solution, the number of parameters to optimize grows linearly. This results in more iterations required by the classical optimizer, which results in an increasing computational burden as more circuit executions are needed. To mitigate this issue, we introduce QAOA-PCA, a novel reparameterization technique that employs Principal Component Analysis (PCA) to reduce the dimensionality of the QAOA parameter space. By extracting principal components from optimized parameters of smaller problem instances, QAOA-PCA facilitates efficient optimization with fewer parameters on larger instances. Our empirical evaluation on the prominent MaxCut problem demonstrates that QAOA-PCA consistently requires fewer iterations than standard QAOA, achieving substantial efficiency gains. While this comes at the cost of a slight reduction in approximation ratio compared to QAOA with the same number of layers, QAOA-PCA almost always outperforms standard QAOA when matched by parameter count. QAOA-PCA strikes a favorable balance between efficiency and performance, reducing optimization overhead without significantly compromising solution quality.

arxiv情報

著者 Owain Parry,Phil McMinn
発行日 2025-04-23 14:27:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.ET, cs.LG | QAOA-PCA: Enhancing Efficiency in the Quantum Approximate Optimization Algorithm via Principal Component Analysis はコメントを受け付けていません

Online model learning with data-assimilated reservoir computers

投稿日: 2025年4月24日 作成者: jarxiv

要約

非線形の時空間信号（フィールド）を予測するためのオンライン学習フレームワークを提案します。
この方法は（i）次元削減を統合します。ここでは、単純な適切な直交分解（POD）投影を統合します。
（ii）ここでは、貯水池コンピューターである減少したダイナミクスを予測するための一般化された自己回帰モデル。
（iii）リザーバーコンピューター（モデル）を更新するためのオンライン適応、ここでは、アンサンブルシーケンシャルデータ同化。ナビエストークス方程式によって支配されたシリンダーを通過するウェイクのフレームワークを実証し、フルフローフィールドの同化（ポッドモードに投影）とスパースセンサーの同化を調査します。
3つのシナリオが検討されています。
物理的および貯水池状態の2つの推定。
また、モデルパラメーターも調整する3倍の推定。
2倍の戦略は、アンサンブルの収束を大幅に改善し、Na \ ‘IVEアプローチと比較して再構築エラーを減らします。
3つのアプローチにより、部分訓練を受けた貯水池コンピューターの堅牢なオンライントレーニングが可能になり、アプリオリトレーニングの制限を克服できます。
ベイジアンデータ同化によるデータ駆動型の縮小注文モデリングを統合することにより、この作業は、非線形時系列予測のためのスケーラブルなオンラインモデル学習の新しい機会を開きます。

要約(オリジナル)

We propose an online learning framework for forecasting nonlinear spatio-temporal signals (fields). The method integrates (i) dimensionality reduction, here, a simple proper orthogonal decomposition (POD) projection; (ii) a generalized autoregressive model to forecast reduced dynamics, here, a reservoir computer; (iii) online adaptation to update the reservoir computer (the model), here, ensemble sequential data assimilation.We demonstrate the framework on a wake past a cylinder governed by the Navier-Stokes equations, exploring the assimilation of full flow fields (projected onto POD modes) and sparse sensors. Three scenarios are examined: a na\’ive physical state estimation; a two-fold estimation of physical and reservoir states; and a three-fold estimation that also adjusts the model parameters. The two-fold strategy significantly improves ensemble convergence and reduces reconstruction error compared to the na\’ive approach. The three-fold approach enables robust online training of partially-trained reservoir computers, overcoming limitations of a priori training. By unifying data-driven reduced order modelling with Bayesian data assimilation, this work opens new opportunities for scalable online model learning for nonlinear time series forecasting.

arxiv情報

著者 Andrea Nóvoa,Luca Magri
発行日 2025-04-23 14:35:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.flu-dyn, stat.AP | Online model learning with data-assimilated reservoir computers はコメントを受け付けていません

Sharp Bounds for Sequential Federated Learning on Heterogeneous Data

投稿日: 2025年4月24日 作成者: jarxiv

要約

フェデレーションラーニング（FL）には2つのパラダイムがあります。並列FL（PFL）。モデルはクライアント間で並行してトレーニングされ、シーケンシャルFL（SFL）があり、モデルがクライアント間で順次トレーニングされます。
具体的には、PFLでは、クライアントは独立してローカル更新を実行し、更新されたモデルパラメーターを集約のためにグローバルサーバーに送信します。
SFLでは、1人のクライアントが、シーケンスで前のクライアントからモデルパラメーターを受信した後にのみローカル更新を開始します。
PFLのそれとは対照的に、不均一なデータ上のSFLの収束理論はまだ不足しています。
SFLの理論的ジレンマを解決するために、上限と下限の両方で不均一なデータでSFLの鋭い収束保証を確立します。
具体的には、強く凸状、一般的な凸、および非凸目の対物的関数の上限を導き出し、強く凸型および一般的な凸目的関数の一致する下限を構築します。
次に、SFLの上限をPFLの上限と比較し、SFLが不均一データでPFLを上回ることを示しています（少なくとも、不均一性のレベルが比較的高い場合）。
実験結果は、直感に反する理論的発見を検証します。

要約(オリジナル)

There are two paradigms in Federated Learning (FL): parallel FL (PFL), where models are trained in a parallel manner across clients, and sequential FL (SFL), where models are trained in a sequential manner across clients. Specifically, in PFL, clients perform local updates independently and send the updated model parameters to a global server for aggregation; in SFL, one client starts its local updates only after receiving the model parameters from the previous client in the sequence. In contrast to that of PFL, the convergence theory of SFL on heterogeneous data is still lacking. To resolve the theoretical dilemma of SFL, we establish sharp convergence guarantees for SFL on heterogeneous data with both upper and lower bounds. Specifically, we derive the upper bounds for the strongly convex, general convex and non-convex objective functions, and construct the matching lower bounds for the strongly convex and general convex objective functions. Then, we compare the upper bounds of SFL with those of PFL, showing that SFL outperforms PFL on heterogeneous data (at least, when the level of heterogeneity is relatively high). Experimental results validate the counterintuitive theoretical finding.

arxiv情報

著者 Yipeng Li,Xinchen Lyu
発行日 2025-04-23 14:38:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Sharp Bounds for Sequential Federated Learning on Heterogeneous Data はコメントを受け付けていません

Predicting sub-population specific viral evolution

投稿日: 2025年4月24日 作成者: jarxiv

要約

ウイルス変異体の分布の変化を予測することは、治療的設計と疾患の監視に不可欠です。
このタスクは、亜​​集団（国）とそれらの動的相互作用間のウイルス分布の激しい違いにより、重要なモデリングの課題をもたらします。
バリアント分布全体をモデル化する既存の機械学習アプローチは、場所固有の予測を行うことができず、ウイルス景観を形作る送信を無視します。
この論文では、異なる場所でのウイルスタンパク質の時間分解分布を予測するサブポピュレーション固有のタンパク質進化モデルを提案します。
アルゴリズムは、サブポピュレーション間の伝送速度を明示的にモデル化し、データからの相互依存性を学習します。
すべてのサブポピュレーションにわたるタンパク質分布の変化は、透過速度によってパラメーター化された線形の通常の微分方程式（ODE）によって定義されます。
このODEを解くと、特定のサブポピュレーションで特定のタンパク質が発生する可能性が得られます。
SARS-COV-2とインフルエンザA/H3N2の両方での複数年の評価は、私たちのモデルが大陸および国々のウイルスタンパク質の分布を正確に予測する際にベースラインを上回ることを示しています。
また、データから学んだ透過速度は、遡及的系統解析によって発見された透過経路と一致していることがわかります。

要約(オリジナル)

Forecasting the change in the distribution of viral variants is crucial for therapeutic design and disease surveillance. This task poses significant modeling challenges due to the sharp differences in virus distributions across sub-populations (e.g., countries) and their dynamic interactions. Existing machine learning approaches that model the variant distribution as a whole are incapable of making location-specific predictions and ignore transmissions that shape the viral landscape. In this paper, we propose a sub-population specific protein evolution model, which predicts the time-resolved distributions of viral proteins in different locations. The algorithm explicitly models the transmission rates between sub-populations and learns their interdependence from data. The change in protein distributions across all sub-populations is defined through a linear ordinary differential equation (ODE) parametrized by transmission rates. Solving this ODE yields the likelihood of a given protein occurring in particular sub-populations. Multi-year evaluation on both SARS-CoV-2 and influenza A/H3N2 demonstrates that our model outperforms baselines in accurately predicting distributions of viral proteins across continents and countries. We also find that the transmission rates learned from data are consistent with the transmission pathways discovered by retrospective phylogenetic analysis.

arxiv情報

著者 Wenxian Shi,Menghua Wu,Regina Barzilay
発行日 2025-04-23 15:32:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Predicting sub-population specific viral evolution はコメントを受け付けていません

Advancing Embodied Intelligence in Robotic-Assisted Endovascular Procedures: A Systematic Review of AI Solutions

投稿日: 2025年4月24日 作成者: jarxiv

要約

血管内手術は、患者の回復時間を大幅に短縮し、臨床転帰を促進する低侵襲溶液のおかげで、血管疾患の治療に革命をもたらしました。
ただし、これらの手順で必要とされる精度と器用さは、介入主義者にかなりの課題をもたらします。
ロボットシステムは、オペレーターの疲労、放射線曝露、人間の精度の固有の制限などの問題に対処する、変革的ソリューションを提供する出現しました。
これらのシステムへの具体化されたインテリジェンス（EI）の統合は、パラダイムシフトを意味し、ロボットが複雑な血管ネットワークをナビゲートし、動的な生理学的条件に適応できるようにします。
データ駆動型のアプローチ、高度なコンピュータービジョン、医療画像分析、および機械学習技術がこの進化の最前線にあります。
これらの方法は、リアルタイムの容器セグメンテーション、デバイス追跡、および解剖学的ランドマーク検出を促進することにより、手続き型インテリジェンスを強化します。
強化学習と模倣学習ナビゲーション戦略をさらに洗練し、専門家のテクニックを再現します。
このレビューでは、血管内手順に関連して、EI原理のロボット技術への統合を体系的に調べます。
インテリジェントな知覚とデータ駆動型の制御における最近の進歩、およびロボット支援内の血管内手順におけるそれらの実用的なアプリケーションについて説明します。
現在の制限と新たな機会を批判的に評価することにより、このレビューは将来の開発のための枠組みを確立し、自律性の向上と臨床結果の改善の可能性を強調します。
医療データ共有の連合学習、臨床的意思決定支援のための説明可能なAI、高度なヒューマンロボットコラボレーションパラダイムなど、新たな傾向と特定の研究分野も調査され、この急速に進化する分野の将来の方向性に関する洞察を提供します。

要約(オリジナル)

Endovascular procedures have revolutionized the treatment of vascular diseases thanks to minimally invasive solutions that significantly reduce patient recovery time and enhance clinical outcomes. However, the precision and dexterity required during these procedures poses considerable challenges for interventionists. Robotic systems have emerged offering transformative solutions, addressing issues such as operator fatigue, radiation exposure, and the inherent limitations of human precision. The integration of Embodied Intelligence (EI) into these systems signifies a paradigm shift, enabling robots to navigate complex vascular networks and adapt to dynamic physiological conditions. Data-driven approaches, advanced computer vision, medical image analysis, and machine learning techniques, are at the forefront of this evolution. These methods augment procedural intelligence by facilitating real-time vessel segmentation, device tracking, and anatomical landmark detection. Reinforcement learning and imitation learning further refine navigation strategies and replicate experts’ techniques. This review systematically examines the integration of EI principles into robotic technologies, in relation to endovascular procedures. We discuss recent advancements in intelligent perception and data-driven control, and their practical applications in robot-assisted endovascular procedures. By critically evaluating current limitations and emerging opportunities, this review establishes a framework for future developments, emphasizing the potential for greater autonomy and improved clinical outcomes. Emerging trends and specific areas of research, such as federated learning for medical data sharing, explainable AI for clinical decision support, and advanced human-robot collaboration paradigms, are also explored, offering insights into the future direction of this rapidly evolving field.

arxiv情報

著者 Tianliang Yao,Bo Lu,Markus Kowarschik,Yixuan Yuan,Hubin Zhao,Sebastien Ourselin,Kaspar Althoefer,Junbo Ge,Peng Qi
発行日 2025-04-23 15:44:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Advancing Embodied Intelligence in Robotic-Assisted Endovascular Procedures: A Systematic Review of AI Solutions はコメントを受け付けていません

Evaluating Autoencoders for Parametric and Invertible Multidimensional Projections

投稿日: 2025年4月24日 作成者: jarxiv

要約

最近、ニューラルネットワークは、パラメトリックで反転可能な多次元データ投影を作成するために注目を集めています。
パラメトリックプロジェクションにより、投影全体を再現することなく、以前に見えないデータを埋め込むことができますが、可逆投影により新しいデータポイントの生成が可能になります。
ただし、これらのプロパティは、任意の投影方法について同時に調査されたことはありません。
パラメトリックおよび反転可能な投影を作成するための3つの自動エンコーダー（AE）アーキテクチャを評価します。
特定の投影に基づいて、AESをトレーニングして、2Dスペースへのマッピングと元のスペースへの逆マッピングを学習します。
T-SNEを使用して、さまざまな次元とパターンの複雑さの4つのデータセットで定量的および定性的比較を実行します。
我々の結果は、カスタマイズされた損失関数を持つAEが、フィードフォワードニューラルネットワークよりもスムーズなパラメトリックおよび逆投影を作成し、ユーザーが平滑化効果の強度を制御できることを示しています。

要約(オリジナル)

Recently, neural networks have gained attention for creating parametric and invertible multidimensional data projections. Parametric projections allow for embedding previously unseen data without recomputing the projection as a whole, while invertible projections enable the generation of new data points. However, these properties have never been explored simultaneously for arbitrary projection methods. We evaluate three autoencoder (AE) architectures for creating parametric and invertible projections. Based on a given projection, we train AEs to learn a mapping into 2D space and an inverse mapping into the original space. We perform a quantitative and qualitative comparison on four datasets of varying dimensionality and pattern complexity using t-SNE. Our results indicate that AEs with a customized loss function can create smoother parametric and inverse projections than feed-forward neural networks while giving users control over the strength of the smoothing effect.

arxiv情報

著者 Frederik L. Dennig,Nina Geyer,Daniela Blumberg,Yannick Metz,Daniel A. Keim
発行日 2025-04-23 15:47:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Evaluating Autoencoders for Parametric and Invertible Multidimensional Projections はコメントを受け付けていません

On Benchmarking Code LLMs for Android Malware Analysis

投稿日: 2025年4月24日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）は、さまざまなコードインテリジェンスタスクで強力な機能を実証しています。
ただし、Androidマルウェア分析に対するそれらの有効性は未定のままです。
分解されたAndroidマルウェアコードは、悪意のあるロジックが多数の機能に埋もれているため、意味のある関数名が頻繁にないため、分析のための独自の課題を提示します。
このペーパーでは、Androidマルウェア分析におけるコードLLMの有効性を体系的に評価するように設計されたベンチマークフレームワークであるCAMAを紹介します。
CAMAは、悪意のある関数識別やマルウェア目的の要約など、主要なマルウェア分析タスクをサポートするための構造化されたモデル出力を指定します。
これらに基づいて構築され、3つのドメイン固有の評価メトリック（一貫性、忠実性、およびセマンティック関連性）を統合し、厳密な安定性と有効性評価とクロスモデル比較を可能にします。
近年収集された13の家族から118のAndroidマルウェアサンプルのベンチマークデータセットを構築し、750万を超える異なる機能を網羅し、CAMAを使用して4つの一般的なオープンソースコードLLMを評価します。
私たちの実験は、コードLLMが分解コードを解釈し、機能の名前変更に対する感度を定量化する方法についての洞察を提供し、マルウェア分析における潜在的および現在の制限の両方を強調します。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated strong capabilities in various code intelligence tasks. However, their effectiveness for Android malware analysis remains underexplored. Decompiled Android malware code presents unique challenges for analysis, due to the malicious logic being buried within a large number of functions and the frequent lack of meaningful function names. This paper presents CAMA, a benchmarking framework designed to systematically evaluate the effectiveness of Code LLMs in Android malware analysis. CAMA specifies structured model outputs to support key malware analysis tasks, including malicious function identification and malware purpose summarization. Built on these, it integrates three domain-specific evaluation metrics (consistency, fidelity, and semantic relevance), enabling rigorous stability and effectiveness assessment and cross-model comparison. We construct a benchmark dataset of 118 Android malware samples from 13 families collected in recent years, encompassing over 7.5 million distinct functions, and use CAMA to evaluate four popular open-source Code LLMs. Our experiments provide insights into how Code LLMs interpret decompiled code and quantify the sensitivity to function renaming, highlighting both their potential and current limitations in malware analysis.

arxiv情報

著者 Yiling He,Hongyu She,Xingzhi Qian,Xinran Zheng,Zhuo Chen,Zhan Qin,Lorenzo Cavallaro
発行日 2025-04-23 16:07:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | On Benchmarking Code LLMs for Android Malware Analysis はコメントを受け付けていません