Online federated learning framework for classification

投稿日: 2025年3月20日 作成者: jarxiv

要約

このホワイトペーパーでは、データプライバシーと計算効率を確保しながら、複数のクライアントからのストリーミングデータを処理するように設計された分類のための新しいオンライン連合学習フレームワークを開発します。
私たちの方法は、一般化された距離加重判別技術を活用しており、クライアント間の均質および不​​均一なデータ分布の両方に堅牢になります。
特に、再生可能な推定手順と統合されたMaseization-Minimization原則に基づいた新しい最適化アルゴリズムを開発し、完全な再訓練なしで効率的なモデルの更新を可能にします。
推定器の収束の理論的保証を提供し、標準的な規則性条件下での一貫性と漸近正常性を証明します。
さらに、この方法がベイジアンリスクの一貫性を達成し、連合環境での分類タスクの信頼性を確保することを確立します。
さらに、データセキュリティを強化するための差別的なプライバシーメカニズムが組み込まれ、モデルのパフォーマンスを維持しながらクライアント情報を保護します。
シミュレートされたデータセットと実際のデータセットの両方での広範な数値実験は、このアプローチが既存の方法と比較して高い分類精度、大幅な計算効率の向上、およびデータストレージ要件の大幅な節約を提供することを示しています。

要約(オリジナル)

In this paper, we develop a novel online federated learning framework for classification, designed to handle streaming data from multiple clients while ensuring data privacy and computational efficiency. Our method leverages the generalized distance-weighted discriminant technique, making it robust to both homogeneous and heterogeneous data distributions across clients. In particular, we develop a new optimization algorithm based on the Majorization-Minimization principle, integrated with a renewable estimation procedure, enabling efficient model updates without full retraining. We provide a theoretical guarantee for the convergence of our estimator, proving its consistency and asymptotic normality under standard regularity conditions. In addition, we establish that our method achieves Bayesian risk consistency, ensuring its reliability for classification tasks in federated environments. We further incorporate differential privacy mechanisms to enhance data security, protecting client information while maintaining model performance. Extensive numerical experiments on both simulated and real-world datasets demonstrate that our approach delivers high classification accuracy, significant computational efficiency gains, and substantial savings in data storage requirements compared to existing methods.

arxiv情報

著者 Wenxing Guo,Jinhan Xie,Jianya Lu,Bei jiang,Hongsheng Dai,Linglong Kong
発行日 2025-03-19 13:50:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Online federated learning framework for classification はコメントを受け付けていません

Artificial Replay: A Meta-Algorithm for Harnessing Historical Data in Bandits

投稿日: 2025年3月20日 作成者: jarxiv

要約

Banditアルゴリズムのほとんどの実際の展開は、オフラインとオンラインのセットアップの間に存在し、いくつかの履歴データが前もって利用可能で、追加データがオンラインで動的に収集されます。
履歴データを「ウォームスタート」盗賊アルゴリズムに組み込むのが最善の方法は、未解決の問題です。すべての履歴サンプルを使用した報酬の見積もりを素朴に初期化する可能性があり、偽のデータと不均衡なデータカバレッジに苦しみ、データの非効率性（使用される履歴データの量） – 特に継続的なアクションスペースで。
これらの課題に対処するために、履歴データをあらゆる任意のベースバンディットアルゴリズムに組み込むためのメタアルゴリズムである人工的な課題を提案します。
人工レプレイは、完全なウォームスタートアプローチと比較して、履歴データのほんの一部のみを使用しているが、紹介する斬新で広く適用可能なプロパティである無関係なデータ（IIDATA）の独立性を満たす基本アルゴリズムに対して同一の後悔を達成していることを示しています。
これらの理論的結果を、K装甲盗賊と連続組み合わせ盗賊に関する実験で補完し、そこで実際の密猟データを使用してグリーンセキュリティドメインをモデル化します。
私たちの結果は、IIDATAを満たさない基本アルゴリズムを含む、データ効率を改善するための人工的な課題の実際的な利点を示しています。

要約(オリジナル)

Most real-world deployments of bandit algorithms exist somewhere in between the offline and online set-up, where some historical data is available upfront and additional data is collected dynamically online. How best to incorporate historical data to ‘warm start’ bandit algorithms is an open question: naively initializing reward estimates using all historical samples can suffer from spurious data and imbalanced data coverage, leading to data inefficiency (amount of historical data used) – particularly for continuous action spaces. To address these challenges, we propose ArtificialReplay, a meta-algorithm for incorporating historical data into any arbitrary base bandit algorithm. We show that ArtificialReplay uses only a fraction of the historical data compared to a full warm-start approach, while still achieving identical regret for base algorithms that satisfy independence of irrelevant data (IIData), a novel and broadly applicable property that we introduce. We complement these theoretical results with experiments on K-armed bandits and continuous combinatorial bandits, on which we model green security domains using real poaching data. Our results show the practical benefits of ArtificialReplay for improving data efficiency, including for base algorithms that do not satisfy IIData.

arxiv情報

著者 Siddhartha Banerjee,Sean R. Sinclair,Milind Tambe,Lily Xu,Christina Lee Yu
発行日 2025-03-19 13:51:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Artificial Replay: A Meta-Algorithm for Harnessing Historical Data in Bandits はコメントを受け付けていません

A Foundation Model for Patient Behavior Monitoring and Suicide Detection

投稿日: 2025年3月20日 作成者: jarxiv

要約

財団モデル（FMS）は、さまざまなドメインで顕著な成功を収めていますが、ヘルスケアでの採用は依然として限られています。
医療画像、遺伝的バイオマーカー、および電子健康記録からの時系列において大きな進歩がありましたが、ウェアラブルデバイスを介した患者の行動監視のFMSの可能性は既知のままです。
これらのデータセットは本質的に不均一でマルチソースであり、多くの場合、不足しているデータの高い割合を示し、独自の課題を提起します。
このペーパーでは、ウェアラブルデバイスから実際のデータを処理するために特別に設計された、修正されたベクトル量子化された分散自動エンコーダー（VQ-VAE）に基づいた新しいFMを紹介します。
精神科患者の幅広いコホートで訓練された私たちの事前に守られたFMは、自殺患者の保有コホートを微調整することなく、潜在的な表現を介して下流のタスクを実行することを実証します。
これを説明するために、自殺検出のための確率的変化点検出アルゴリズムを開発し、感情状態の予測におけるFMの有効性を実証します。
我々の結果は、VQ-VAEの離散的な潜在構造が、監視されていない感情予測のパフォーマンスを監督された次元が増加すると、監視されていない精度が低下すると一致しながら、監督された感情予測のパフォーマンスを一致させながら、VQ-Vaeの個別の潜在的な構造がパフォーマンスを上回ることを示しています。
このトレードオフは、将来のFMSがハイブリッドの離散的な連続構造を統合して、タスク全体でバランスの取れたパフォーマンスを統合する必要性を強調しています。

要約(オリジナル)

Foundation models (FMs) have achieved remarkable success across various domains, yet their adoption in healthcare remains limited. While significant advances have been made in medical imaging, genetic biomarkers, and time series from electronic health records, the potential of FMs for patient behavior monitoring through wearable devices remains underexplored. These datasets are inherently heterogeneous, multisource, and often exhibit high rates of missing data, posing unique challenges. This paper introduces a novel FM based on a modified vector quantized variational autoencoder (VQ-VAE), specifically designed to process real-world data from wearable devices. We demonstrate that our pretrained FM, trained on a broad cohort of psychiatric patients, performs downstream tasks via its latent representation without fine-tuning on a held-out cohort of suicidal patients. To illustrate this, we develop a probabilistic change-point detection algorithm for suicide detection and demonstrate the FM’s effectiveness in predicting emotional states. Our results show that the discrete latent structure of the VQ-VAE outperforms a state-of-the-art Informer architecture in unsupervised suicide detection, while matching its performance in supervised emotion prediction when the latent dimensionality is increased, though at the cost of reduced unsupervised accuracy. This trade-off highlights the need for future FMs to integrate hybrid discrete-continuous structures for balanced performance across tasks.

arxiv情報

著者 Rodrigo Oliver,Josué Pérez-Sabater,Leire Paz-Arbaizar,Alejandro Lancho,Antonio Artés,Pablo M. Olmos
発行日 2025-03-19 14:01:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | A Foundation Model for Patient Behavior Monitoring and Suicide Detection はコメントを受け付けていません

A Personalized Data-Driven Generative Model of Human Motion

投稿日: 2025年3月20日 作成者: jarxiv

要約

リハビリテーション療法、スポーツ、製造などの人間のグループ活動における自律的な仮想アバター（拡張現実）とロボットの展開は、これらの技術がより広範になるにつれて増加すると予想されます。
これらのエージェントを駆動するための認知アーキテクチャと制御戦略の設計には、人間の動きの現実的なモデルが必要です。
ただし、既存のモデルは、人間の運動挙動の単純化された説明のみを提供します。
この作業では、特定の個人のユニークな特性をキャプチャする元の動きを生成するために、長期の短期メモリネットワークに基づいた完全なデータ駆動型アプローチを提案します。
スカラー振動運動の実際のデータを使用して、アーキテクチャを検証します。
広範な分析では、私たちのモデルが、訓練された個人の速度分布と振幅の封筒を効果的に複製し、他の個人とは異なり、人間のデータと類似性の観点から最先端のモデルを上回ることを示しています。

要約(オリジナル)

The deployment of autonomous virtual avatars (in extended reality) and robots in human group activities – such as rehabilitation therapy, sports, and manufacturing – is expected to increase as these technologies become more pervasive. Designing cognitive architectures and control strategies to drive these agents requires realistic models of human motion. However, existing models only provide simplified descriptions of human motor behavior. In this work, we propose a fully data-driven approach, based on Long Short-Term Memory neural networks, to generate original motion that captures the unique characteristics of specific individuals. We validate the architecture using real data of scalar oscillatory motion. Extensive analyses show that our model effectively replicates the velocity distribution and amplitude envelopes of the individual it was trained on, remaining different from other individuals, and outperforming state-of-the-art models in terms of similarity to human data.

arxiv情報

著者 Angelo Di Porzio,Marco Coraggio
発行日 2025-03-19 14:03:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.GR, cs.LG, cs.SY, eess.SY | A Personalized Data-Driven Generative Model of Human Motion はコメントを受け付けていません

ImputeGAP: A Comprehensive Library for Time Series Imputation

投稿日: 2025年3月20日 作成者: jarxiv

要約

センサーの障害の有病率により、不足している値を推定するプロセス – は、時系列のデータ準備の基礎として浮上しました。
これらのデータギャップに対処するために多数の代入アルゴリズムが開発されていますが、既存のライブラリは限られたサポートを提供します。
さらに、彼らはしばしば、時系列の欠落データの現実的なパターンをシミュレートする能力を欠いており、その後のダウンストリーム分析に対する帰属の影響を説明できません。
このペーパーでは、さまざまな特性を持つデータセットにケータリングする多様な範囲の帰属方法とモジュール式欠落データシミュレーションをサポートする時系列代入のための包括的なライブラリであるInputeGapを紹介します。
ライブラリには、自動化されたハイパーパラメーターのチューニング、ベンチマーク、説明、下流の評価、人気のある時系列フレームワークとの互換性などの広範なカスタマイズオプションが含まれています。

要約(オリジナル)

With the prevalence of sensor failures, imputation–the process of estimating missing values–has emerged as the cornerstone of time series data preparation. While numerous imputation algorithms have been developed to address these data gaps, existing libraries provide limited support. Furthermore, they often lack the ability to simulate realistic patterns of time series missing data and fail to account for the impact of imputation on subsequent downstream analysis. This paper introduces ImputeGAP, a comprehensive library for time series imputation that supports a diverse range of imputation methods and modular missing data simulation catering to datasets with varying characteristics. The library includes extensive customization options, such as automated hyperparameter tuning, benchmarking, explainability, downstream evaluation, and compatibility with popular time series frameworks.

arxiv情報

著者 Quentin Nater,Mourad Khayati,Jacques Pasquier
発行日 2025-03-19 14:24:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DB, cs.LG | ImputeGAP: A Comprehensive Library for Time Series Imputation はコメントを受け付けていません

Tapered Off-Policy REINFORCE: Stable and efficient reinforcement learning for LLMs

投稿日: 2025年3月20日 作成者: jarxiv

要約

強化学習を使用して、大規模な言語モデルを微調整するための新しいアルゴリズムを提案します。
Tapered Off-Policy Renforce（TOPR）は、KLの正規化を使用しなくても、安定した学習ダイナミクスを維持しながら、学習を高速化するために重要なサンプリングの非対称でテーパー付きのバリアントを使用します。
TOPRは完全にオフラインで適用でき、統一されたフレームワークで肯定的な例と否定的な例を処理し、モンテカルロアルゴリズムに典型的な実装シンプルさから利益を得ることができます。
GSM8Kおよび数学推論ベンチマークでの一連の実験を使用して、アプローチの有効性を実証し、ソリューション生成のモデルと生成検証剤の両方のトレーニングのためのパフォーマンスの向上を見つけます。
ポリシー外のレジームで同時に肯定的および否定的な例を適切に活用すると同時に、テスト時間の精度とトレーニングデータの効率が向上することを示します。
この利点は、トレーニングの複数の反復にわたって持続し、データセットキュレーション技術によって増幅される可能性があり、70Bパラメーターモデルのパフォーマンスと8B言語モデルを一致させることができます。
この作業の結果として、Renforceのベースラインパラメーターは、否定的な例の存在下でデータセット構成を定義する上で重要かつ予想外の役割を果たし、その結果、ポリシー外のパフォーマンスを駆動する上で重要であることがわかります。

要約(オリジナル)

We propose a new algorithm for fine-tuning large language models using reinforcement learning. Tapered Off-Policy REINFORCE (TOPR) uses an asymmetric, tapered variant of importance sampling to speed up learning while maintaining stable learning dynamics, even without the use of KL regularization. TOPR can be applied in a fully offline fashion, allows the handling of positive and negative examples in a unified framework, and benefits from the implementational simplicity that is typical of Monte Carlo algorithms. We demonstrate the effectiveness of our approach with a series of experiments on the GSM8K and MATH reasoning benchmarks, finding performance gains for training both a model for solution generation and as a generative verifier. We show that properly leveraging positive and negative examples alike in the off-policy regime simultaneously increases test-time accuracy and training data efficiency, all the while avoiding the “wasted inference” that comes with discarding negative examples. We find that this advantage persists over multiple iterations of training and can be amplified by dataset curation techniques, enabling us to match 70B-parameter model performance with 8B language models. As a corollary to this work, we find that REINFORCE’s baseline parameter plays an important and unexpected role in defining dataset composition in the presence of negative examples, and is consequently critical in driving off-policy performance.

arxiv情報

著者 Nicolas Le Roux,Marc G. Bellemare,Jonathan Lebensold,Arnaud Bergeron,Joshua Greaves,Alex Fréchette,Carolyne Pelletier,Eric Thibodeau-Laufer,Sándor Toth,Sam Work
発行日 2025-03-19 14:25:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Tapered Off-Policy REINFORCE: Stable and efficient reinforcement learning for LLMs はコメントを受け付けていません

Fast MLE and MAPE-Based Device Activity Detection for Grant-Free Access via PSCA and PSCA-Net

投稿日: 2025年3月20日 作成者: jarxiv

要約

高速かつ正確なデバイスアクティビティ検出は、5G以上の大規模な機械型通信（MMTC）および超信頼性の低い低遅延コミュニケーション（URLLC）をサポートするための助成金のないアクセスの重要な課題です。
最先端の方法には、不十分なエラー率または計算時間があります。
これらの未解決の問題に対処するために、最適化と深い学習技術を使用して優れたエラー率と計算時間トレードオフを達成する既知および未知のパスロスの新しい最尤推定（MLE）と最大A後推定（MAPE）ベースのデバイスアクティビティ検出方法を提案します。
具体的には、2つのパスロスケースでMLEとMAPEの4つの非凸最適化問題を調査し、1つのMAPE問題が初めて処方されます。
非凸の問題について、並列連続凸近似（PSCA）法を使用して革新的な並列反復アルゴリズムを開発します。
各PSCAベースのアルゴリズムは、並列計算を許可し、目的関数の2次情報まで使用し、問題の定常ポイントに収束し、最先端のアルゴリズムと比較して低体験ごとの計算の複雑さを持っています。
次に、各PSCAベースの反復アルゴリズムについて、計算時間をさらに短縮するために、PSCA-NETと呼ばれる深い展開ニューラルネットワークの実装を提示します。
各PSCA-NETは、基礎となるPSCAベースのアルゴリズムの並列計算メカニズムと並列化可能なニューラルネットワークアーキテクチャとエレガントに結婚し、膨大なデータサンプルに基づいて収束を高速化するステップサイズを効果的に最適化します。
数値結果は、提案された方法が最先端の方法と比較してエラー率と計算時間を大幅に短縮できることを示しており、付与のないアクセスの重要な値を明らかにします。

要約(オリジナル)

Fast and accurate device activity detection is the critical challenge in grant-free access for supporting massive machine-type communications (mMTC) and ultra-reliable low-latency communications (URLLC) in 5G and beyond. The state-of-the-art methods have unsatisfactory error rates or computation times. To address these outstanding issues, we propose new maximum likelihood estimation (MLE) and maximum a posterior estimation (MAPE) based device activity detection methods for known and unknown pathloss that achieve superior error rate and computation time tradeoffs using optimization and deep learning techniques. Specifically, we investigate four non-convex optimization problems for MLE and MAPE in the two pathloss cases, with one MAPE problem being formulated for the first time. For each non-convex problem, we develop an innovative parallel iterative algorithm using the parallel successive convex approximation (PSCA) method. Each PSCA-based algorithm allows parallel computations, uses up to the objective function’s second-order information, converges to the problem’s stationary points, and has a low per-iteration computational complexity compared to the state-of-the-art algorithms. Then, for each PSCA-based iterative algorithm, we present a deep unrolling neural network implementation, called PSCA-Net, to further reduce the computation time. Each PSCA-Net elegantly marries the underlying PSCA-based algorithm’s parallel computation mechanism with the parallelizable neural network architecture and effectively optimizes its step sizes based on vast data samples to speed up the convergence. Numerical results demonstrate that the proposed methods can significantly reduce the error rate and computation time compared to the state-of-the-art methods, revealing their significant values for grant-free access.

arxiv情報

著者 Bowen Tan,Ying Cui
発行日 2025-03-19 14:31:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Fast MLE and MAPE-Based Device Activity Detection for Grant-Free Access via PSCA and PSCA-Net はコメントを受け付けていません

Scalable Co-Clustering for Large-Scale Data through Dynamic Partitioning and Hierarchical Merging

投稿日: 2025年3月20日 作成者: jarxiv

要約

同時に共同クラスター化して、行と列をクラスターして、より微細なグループが明らかになります。
ただし、既存の共同クラスタリング方法は、スケーラビリティが不十分であり、大規模なデータを処理することはできません。
このペーパーでは、高次元の大規模なデータセットの複雑なパターンを明らかにするために設計された、新規でスケーラブルな共同クラスタリング方法を紹介します。
具体的には、最初に、大きなマトリックスをより小さなサブマトリックに分割する大きなマトリックスパーティションアルゴリズムを提案し、平行な共同クラスタリングを可能にします。
この方法では、確率的モデルを採用して、小規模の構成を最適化し、計算効率と分析深度のバランスを取ります。
さらに、これらのサブマトリックから共同クラスターを効率的に識別および統合する階層的な共同クラスターのマージアルゴリズムを提案し、プロセスの堅牢性と信頼性を高めます。
広範な評価は、当社の方法の有効性と効率を検証します。
実験結果は、計算時間の大幅な短縮を示し、密度の高いマトリックスでは約83％の減少、スパースマトリックスでは最大30％減少します。

要約(オリジナル)

Co-clustering simultaneously clusters rows and columns, revealing more fine-grained groups. However, existing co-clustering methods suffer from poor scalability and cannot handle large-scale data. This paper presents a novel and scalable co-clustering method designed to uncover intricate patterns in high-dimensional, large-scale datasets. Specifically, we first propose a large matrix partitioning algorithm that partitions a large matrix into smaller submatrices, enabling parallel co-clustering. This method employs a probabilistic model to optimize the configuration of submatrices, balancing the computational efficiency and depth of analysis. Additionally, we propose a hierarchical co-cluster merging algorithm that efficiently identifies and merges co-clusters from these submatrices, enhancing the robustness and reliability of the process. Extensive evaluations validate the effectiveness and efficiency of our method. Experimental results demonstrate a significant reduction in computation time, with an approximate 83% decrease for dense matrices and up to 30% for sparse matrices.

arxiv情報

著者 Zihan Wu,Zhaoke Huang,Hong Yan
発行日 2025-03-19 14:36:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.DC, cs.LG, H.2.8 | Scalable Co-Clustering for Large-Scale Data through Dynamic Partitioning and Hierarchical Merging はコメントを受け付けていません

The Pitfalls of Imitation Learning when Actions are Continuous

投稿日: 2025年3月20日 作成者: jarxiv

要約

私たちは、離散時間の連続状態と行動制御システムで専門家のデモンストレーターを模倣する問題を研究します。
ダイナミクスが安定していて（つまり、指数関数的に迅速に収縮する）、専門家がスムーズで決定論的であるとしても、スムーズで決定論的な模倣者ポリシーは、エキスパートトレーニングデータの分布の下でのエラーよりも、問題の地平線の関数として指数関数的に大きい実行に必然的にエラーに苦しむことを示します。
私たちの否定的な結果は、非常に「不適切な」模倣者ポリシーを生成しない限り、動作のクローニングとオフラインRLアルゴリズムの両方に適用されます。これらは、滑らかで、非マルコビアンである、または高度な状態依存性の確率を示すか、または専門家の旅行の分布が十分に「広がる」場合を除きます。
これらのより複雑なポリシーパラメーター化の利点の実験的証拠を提供し、ロボット学習における今日の一般的なポリシーパラメーター化の利点（アクションチャンキングおよび拡散ポリシーなど）を説明します。
また、制御システムでの模倣のために、多数の相補的な否定的および肯定的な結果を確立します。

要約(オリジナル)

We study the problem of imitating an expert demonstrator in a discrete-time, continuous state-and-action control system. We show that, even if the dynamics are stable (i.e. contracting exponentially quickly), and the expert is smooth and deterministic, any smooth, deterministic imitator policy necessarily suffers error on execution that is exponentially larger, as a function of problem horizon, than the error under the distribution of expert training data. Our negative result applies to both behavior cloning and offline-RL algorithms, unless they produce highly ‘improper’ imitator policies–those which are non-smooth, non-Markovian, or which exhibit highly state-dependent stochasticity–or unless the expert trajectory distribution is sufficiently ‘spread.’ We provide experimental evidence of the benefits of these more complex policy parameterizations, explicating the benefits of today’s popular policy parameterizations in robot learning (e.g. action-chunking and Diffusion Policies). We also establish a host of complementary negative and positive results for imitation in control systems.

arxiv情報

著者 Max Simchowitz,Daniel Pfrommer,Ali Jadbabaie
発行日 2025-03-19 14:37:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SY, eess.SY, stat.ML | The Pitfalls of Imitation Learning when Actions are Continuous はコメントを受け付けていません

Learning to quantify graph nodes

投稿日: 2025年3月20日 作成者: jarxiv

要約

ネットワークの定量化は、グラフノードの非標識サブセットのクラスの割合を推定する問題です。
事前の確率シフトが再生されている場合、このタスクは、最初にノードを分類し、クラスの予測をカウントすることで効果的に対処することはできません。
さらに、I.I.D。の非関連定量化とは異なります。
データポイント、ネットワークの定量化は、幅広い接続パターン、異種の課題への回復力、およびより大きなネットワークへのスケーリングの効率をキャプチャするための柔軟性の向上を要求します。
これらの厳しい要件を満たすために、XNQを導入します。これは、ランダム化された再帰グラフニューラルネットワークによって計算された監視されていないノード具体化の柔軟性と効率を相乗する新しい方法であり、カリフォルニア化ノード分類子の出力確率に堅牢な定量化対応を提供する期待最大化アルゴリズムを提供します。
包括的なアブレーション実験を通じて、方法を支える設計の選択肢を検証します。
広範な評価では、私たちのアプローチは、これまでの最高のネットワーク定量化方法を一貫して大幅に改善し、それによってこの挑戦的なタスクのために新しい最新の最新技術を設定することがわかります。
同時に、他のグラフ学習ベースの方法よりも最大10倍100倍のトレーニングスピードアップを提供します。

要約(オリジナル)

Network Quantification is the problem of estimating the class proportions in unlabeled subsets of graph nodes. When prior probability shift is at play, this task cannot be effectively addressed by first classifying the nodes and then counting the class predictions. In addition, unlike non-relational quantification on i.i.d. datapoints, Network Quantification demands enhanced flexibility to capture a broad range of connectivity patterns, resilience to the challenge of heterophily, and efficiency to scale to larger networks. To meet these stringent requirements we introduce XNQ, a novel method that synergizes the flexibility and efficiency of the unsupervised node embeddings computed by randomized recursive Graph Neural Networks, with an Expectation-Maximization algorithm that provides a robust quantification-aware adjustment to the output probabilities of a calibrated node classifier. We validate the design choices underpinning our method through comprehensive ablation experiments. In an extensive evaluation, we find that our approach consistently and significantly improves on the best Network Quantification methods to date, thereby setting the new state of the art for this challenging task. Simultaneously, it provides a training speed-up of up to 10x-100x over other graph learning based methods.

arxiv情報

著者 Alessio Micheli,Alejandro Moreo,Marco Podda,Fabrizio Sebastiani,William Simoni,Domenico Tortorella
発行日 2025-03-19 14:43:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Learning to quantify graph nodes はコメントを受け付けていません