Standardizing Structural Causal Models

投稿日: 2025年3月18日 作成者: jarxiv

要約

構造因果モデル（SCM）によって生成された合成データセットは、一般的に因果構造学習アルゴリズムのベンチマークに使用されます。
ただし、SCMデータの分散とペアワイズ相関は、因果順序に沿って増加する傾向があります。
いくつかの一般的なアルゴリズムはこれらのアーティファクトを活用しており、おそらく実際の設定に一般化されない結論につながる可能性があります。
$ \ operatorname {var} $ – 並べ替えや$ \ operatorname {r^2} $ – ソート性などの既存のメトリックは、これらのパターンを定量化しますが、それらを改善するためのツールを提供しません。
これに対処するために、生成プロセス中に各変数で標準化操作を導入するSCMの変更である内部標準化された構造因果モデル（ISCM）を提案します。
建設により、ISCMは$ \ operatorname {var} $ – 並べ替え可能ではありません。
また、それらがほとんど$ \ operatorname {r^2} $ではないという経験的証拠も見つかります – 一般的に使用されているグラフファミリに対してソート可能です。
さらに、標準SCMによって生成されたデータの事後標準化とは反対に、線形ISCMは重みに関する事前知識から識別できず、ここで研究されているベンチマーク問題を超えた因果関係の有用なモデルになる可能性がある大規模システムの決定論的な関係から崩壊しないことが証明されています。
私たちのコードは、https：//github.com/werkaaa/iscmで公開されています。

要約(オリジナル)

Synthetic datasets generated by structural causal models (SCMs) are commonly used for benchmarking causal structure learning algorithms. However, the variances and pairwise correlations in SCM data tend to increase along the causal ordering. Several popular algorithms exploit these artifacts, possibly leading to conclusions that do not generalize to real-world settings. Existing metrics like $\operatorname{Var}$-sortability and $\operatorname{R^2}$-sortability quantify these patterns, but they do not provide tools to remedy them. To address this, we propose internally-standardized structural causal models (iSCMs), a modification of SCMs that introduces a standardization operation at each variable during the generative process. By construction, iSCMs are not $\operatorname{Var}$-sortable. We also find empirical evidence that they are mostly not $\operatorname{R^2}$-sortable for commonly-used graph families. Moreover, contrary to the post-hoc standardization of data generated by standard SCMs, we prove that linear iSCMs are less identifiable from prior knowledge on the weights and do not collapse to deterministic relationships in large systems, which may make iSCMs a useful model in causal inference beyond the benchmarking problem studied here. Our code is publicly available at: https://github.com/werkaaa/iscm.

arxiv情報

著者 Weronika Ormaniec,Scott Sussex,Lars Lorch,Bernhard Schölkopf,Andreas Krause
発行日 2025-03-17 14:26:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Standardizing Structural Causal Models はコメントを受け付けていません

Dense Policy: Bidirectional Autoregressive Learning of Actions

投稿日: 2025年3月18日 作成者: jarxiv

要約

主流の視覚運動ポリシーは、主に全体的なアクション予測の生成モデルに依存していますが、次のトークンまたはチャンクを予測する現在の自己回帰ポリシーは、最適ではない結果を示しています。
これにより、ロボット操作のための自己回帰ポリシーの可能性を解き放つための、より効果的な学習方法の検索が動機付けられます。
このペーパーでは、密集した政策と呼ばれる双方向に拡張された学習アプローチを紹介し、アクション予測における自己回帰ポリシーの新しいパラダイムを確立します。
軽量のエンコーダのみのアーキテクチャを使用して、対数時間推論を使用して、初期の単一フレームから粗から洗練された方法でアクションシーケンスをターゲットシーケンスに繰り返し展開します。
広範な実験では、密集したポリシーが優れた自己回帰学習能力を持ち、既存の全体的な生成ポリシーを上回ることができることを検証します。
当社のポリシー、例データ、およびトレーニングコードは、公開時に公開されます。
プロジェクトページ：https：//selen-suyue.github.io/dspnet/。

要約(オリジナル)

Mainstream visuomotor policies predominantly rely on generative models for holistic action prediction, while current autoregressive policies, predicting the next token or chunk, have shown suboptimal results. This motivates a search for more effective learning methods to unleash the potential of autoregressive policies for robotic manipulation. This paper introduces a bidirectionally expanded learning approach, termed Dense Policy, to establish a new paradigm for autoregressive policies in action prediction. It employs a lightweight encoder-only architecture to iteratively unfold the action sequence from an initial single frame into the target sequence in a coarse-to-fine manner with logarithmic-time inference. Extensive experiments validate that our dense policy has superior autoregressive learning capabilities and can surpass existing holistic generative policies. Our policy, example data, and training code will be publicly available upon publication. Project page: https: //selen-suyue.github.io/DspNet/.

arxiv情報

著者 Yue Su,Xinyu Zhan,Hongjie Fang,Han Xue,Hao-Shu Fang,Yong-Lu Li,Cewu Lu,Lixin Yang
発行日 2025-03-17 14:28:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO | Dense Policy: Bidirectional Autoregressive Learning of Actions はコメントを受け付けていません

ProDiF: Protecting Domain-Invariant Features to Secure Pre-Trained Models Against Extraction

投稿日: 2025年3月18日 作成者: jarxiv

要約

事前に訓練されたモデルは貴重な知的財産であり、重量スペース内でドメイン固有とドメインの両方の機能をキャプチャします。
ただし、モデル抽出攻撃は、不正なソースドメインの推論を可能にし、ドメインに不変の特徴の活用を介してクロスドメイン移転を促進することにより、これらの資産を脅かします。
この作業では、** ProDif **を紹介します。これは、標的型の操作を活用して抽出攻撃に対して事前に訓練されたモデルを確保する新しいフレームワークを紹介します。
** ProDif **は、信頼できるユーザー向けの信頼できる実行環境（TEE）で実際の重要な重みを維持しながら、フィルターとPreturbsの重要なフィルターの重みを無担保メモリの重みを定量化します。
バイレベルの最適化により、適応微調整攻撃に対する回復力がさらに保証されます。
実験結果は、** ProDif **がソースドメインの精度をランダムに近いレベルに減らし、クロスドメインの移動性を74.65 \％減少させ、事前に訓練されたモデルを堅牢な保護を提供することを示しています。
この作業は、事前に訓練されたDNNモデルの包括的な保護を提供し、モデルセキュリティへの新しいアプローチとしての重量空間操作の可能性を強調しています。

要約(オリジナル)

Pre-trained models are valuable intellectual property, capturing both domain-specific and domain-invariant features within their weight spaces. However, model extraction attacks threaten these assets by enabling unauthorized source-domain inference and facilitating cross-domain transfer via the exploitation of domain-invariant features. In this work, we introduce **ProDiF**, a novel framework that leverages targeted weight space manipulation to secure pre-trained models against extraction attacks. **ProDiF** quantifies the transferability of filters and perturbs the weights of critical filters in unsecured memory, while preserving actual critical weights in a Trusted Execution Environment (TEE) for authorized users. A bi-level optimization further ensures resilience against adaptive fine-tuning attacks. Experimental results show that **ProDiF** reduces source-domain accuracy to near-random levels and decreases cross-domain transferability by 74.65\%, providing robust protection for pre-trained models. This work offers comprehensive protection for pre-trained DNN models and highlights the potential of weight space manipulation as a novel approach to model security.

arxiv情報

著者 Tong Zhou,Shijin Duan,Gaowen Liu,Charles Fleming,Ramana Rao Kompella,Shaolei Ren,Xiaolin Xu
発行日 2025-03-17 14:37:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | ProDiF: Protecting Domain-Invariant Features to Secure Pre-Trained Models Against Extraction はコメントを受け付けていません

Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch

投稿日: 2025年3月18日 作成者: jarxiv

要約

Federated Semi-Supervised Learning（FSSL）は、限られたラベル付きデータを持つクライアント間で非標識データを活用して、強力な一般化能力を備えたグローバルモデルをトレーニングすることを目的としています。
ほとんどのFSSLメソッドは、擬似ラベルとの一貫性の正規化に依存しており、ローカルモデルまたはグローバルモデルからの予測を監督信号として硬い擬似ラベルに変換します。
しかし、擬似界面の質は、フェデレート学習の本質的な側面であるデータの不均一性によって大幅に悪化していることがわかります。
この論文では、FSSLの詳細な問題を調査し、（1）不均一性が擬似ラベルのミスマッチを悪化させ、モデルのパフォーマンスと収束をさらに低下させ、（2）局所およびグローバルモデルの予測傾向が異質性が増加するにつれて分岐することを示します。
これらの調査結果に動機付けられて、私たちは、自信の矛盾に基づいて擬似ラベルを柔軟に修正できる、グローバルに強化されたアンサンブル（SAGE）の半監視集約と呼ばれるシンプルで効果的な方法を提案します。
この戦略は、誤った擬似適応によって引き起こされるパフォーマンスの劣化を効果的に緩和し、ローカルモデルとグローバルモデル間のコンセンサスを強化します。
実験結果は、SAGEがパフォーマンスと収束の両方で既存のFSSLメソッドを上回ることを示しています。
私たちのコードは、https：//github.com/jay-codeman/sageで入手できます

要約(オリジナル)

Federated Semi-Supervised Learning (FSSL) aims to leverage unlabeled data across clients with limited labeled data to train a global model with strong generalization ability. Most FSSL methods rely on consistency regularization with pseudo-labels, converting predictions from local or global models into hard pseudo-labels as supervisory signals. However, we discover that the quality of pseudo-label is largely deteriorated by data heterogeneity, an intrinsic facet of federated learning. In this paper, we study the problem of FSSL in-depth and show that (1) heterogeneity exacerbates pseudo-label mismatches, further degrading model performance and convergence, and (2) local and global models’ predictive tendencies diverge as heterogeneity increases. Motivated by these findings, we propose a simple and effective method called Semi-supervised Aggregation for Globally-Enhanced Ensemble (SAGE), that can flexibly correct pseudo-labels based on confidence discrepancies. This strategy effectively mitigates performance degradation caused by incorrect pseudo-labels and enhances consensus between local and global models. Experimental results demonstrate that SAGE outperforms existing FSSL methods in both performance and convergence. Our code is available at https://github.com/Jay-Codeman/SAGE

arxiv情報

著者 Yijie Liu,Xinyi Shang,Yiqun Zhang,Yang Lu,Chen Gong,Jing-Hao Xue,Hanzi Wang
発行日 2025-03-17 14:41:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG | Mind the Gap: Confidence Discrepancy Can Guide Federated Semi-Supervised Learning Across Pseudo-Mismatch はコメントを受け付けていません

Hypergraph $p$-Laplacian regularization on point clouds for data interpolation

投稿日: 2025年3月18日 作成者: jarxiv

要約

グラフの一般化として、ハイパーグラフは、データの高次関係をモデル化するために広く使用されています。
このペーパーでは、明示的な構造情報が含まれていないポイントクラウドデータの補間のためのハイパーグラフ構造の利点を探ります。
$ \ varepsilon_n $ -ball Hypergraphと$ k_n $ -nearest neight hypergraphをポイントクラウドに定義し、ハイパーグラフの$ p $ -laplacianの正規化を研究します。
ハイパーグラフ$ p $ -laplacianの正規化と、$ n $の数が無限になっている間にラベル付けされたポイントの数が固定されている場合、半分拡張設定で連続体$ p $ -laplacianの正則化との間の変動の一貫性を証明します。
グラフケースと比較して重要な改善は、結果が$ \ varepsilon_n $と$ k_n $の上限の弱い仮定に依存していることです。
凸ではあるが異なる大規模な最適化問題を解決するために、確率的原始ハイブリッド勾配アルゴリズムを利用します。
データ補間に関する数値実験では、ハイパーグラフ$ p $ -laplacianの正規化が、ラベル付けされたポイントでのスパイクの開発を防ぐためのグラフ$ p $ -laplacianの正則化よりも優れていることを確認します。

要約(オリジナル)

As a generalization of graphs, hypergraphs are widely used to model higher-order relations in data. This paper explores the benefit of the hypergraph structure for the interpolation of point cloud data that contain no explicit structural information. We define the $\varepsilon_n$-ball hypergraph and the $k_n$-nearest neighbor hypergraph on a point cloud and study the $p$-Laplacian regularization on the hypergraphs. We prove the variational consistency between the hypergraph $p$-Laplacian regularization and the continuum $p$-Laplacian regularization in a semisupervised setting when the number of points $n$ goes to infinity while the number of labeled points remains fixed. A key improvement compared to the graph case is that the results rely on weaker assumptions on the upper bound of $\varepsilon_n$ and $k_n$. To solve the convex but non-differentiable large-scale optimization problem, we utilize the stochastic primal-dual hybrid gradient algorithm. Numerical experiments on data interpolation verify that the hypergraph $p$-Laplacian regularization outperforms the graph $p$-Laplacian regularization in preventing the development of spikes at the labeled points.

arxiv情報

著者 Kehan Shi,Martin Burger
発行日 2025-03-17 14:57:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 35J20, 49J55, 65N12, cs.LG, cs.NA, math.AP, math.NA | Hypergraph $p$-Laplacian regularization on point clouds for data interpolation はコメントを受け付けていません

Highly Efficient Direct Analytics on Semantic-aware Time Series Data Compression

投稿日: 2025年3月18日 作成者: jarxiv

要約

セマンティックコミュニケーションは、大規模なデータトラフィックと持続可能なデータコミュニケーションの課題に取り組むための有望なパラダイムとして浮上しています。
焦点をデータの忠実度から目標指向またはタスク指向のセマンティック伝送にシフトします。
深い学習ベースの方法は、一般的にセマンティックエンコードとデコードに使用されますが、特にリソースに制約のあるIoT環境で、時系列データの連続的な性質と高い計算コストと格闘しています。
データ圧縮は、送信コストとストレージコストを削減する上で重要な役割を果たしますが、従来のデータ圧縮方法は、目標指向の通信システムの要求に達していません。
この論文では、シュリンク圧縮アルゴリズムによって圧縮された時系列データの直接分析の新しい方法を提案します。
ケーススタディとしてOutlier検出を使用した実験を通じて、私たちの方法は、複数のケースで非圧縮データで実行されているベースラインよりも優れていることを示しています。
さらに、平均してランタイムが4倍低く、データボリュームの約10％にアクセスできるため、ストレージと計算能力が制限されているエッジ分析が可能になります。
これらの結果は、私たちのアプローチが、時間シリーズデータからセマンティクスを抽出し、高圧縮を達成し、データ送信を削減しながら、多様なIoTアプリケーションのための信頼性の高い高速外れの検出分析を提供することを示しています。

要約(オリジナル)

Semantic communication has emerged as a promising paradigm to tackle the challenges of massive growing data traffic and sustainable data communication. It shifts the focus from data fidelity to goal-oriented or task-oriented semantic transmission. While deep learning-based methods are commonly used for semantic encoding and decoding, they struggle with the sequential nature of time series data and high computation cost, particularly in resource-constrained IoT environments. Data compression plays a crucial role in reducing transmission and storage costs, yet traditional data compression methods fall short of the demands of goal-oriented communication systems. In this paper, we propose a novel method for direct analytics on time series data compressed by the SHRINK compression algorithm. Through experimentation using outlier detection as a case study, we show that our method outperforms baselines running on uncompressed data in multiple cases, with merely 1% difference in the worst case. Additionally, it achieves four times lower runtime on average and accesses approximately 10% of the data volume, which enables edge analytics with limited storage and computation power. These results demonstrate that our approach offers reliable, high-speed outlier detection analytics for diverse IoT applications while extracting semantics from time-series data, achieving high compression, and reducing data transmission.

arxiv情報

著者 Guoyou Sun,Panagiotis Karras,Qi Zhang
発行日 2025-03-17 14:58:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP | Highly Efficient Direct Analytics on Semantic-aware Time Series Data Compression はコメントを受け付けていません

Neural network-based Godunov corrections for approximate Riemann solvers using bi-fidelity learning

投稿日: 2025年3月18日 作成者: jarxiv

要約

Riemannの問題は、双曲線の部分微分方程式の計算モデリングにおいて基本的であり、安定した正確な風上スキームの開発を可能にします。
正確なソルバーは堅牢な隆起フラックスを提供しますが、その高い計算コストにはおおよそのソルバーが必要です。
近似ソルバーは多くのシナリオで正確さを達成しますが、特定の場合には不正確なソリューションを生成します。
この制限を克服するために、インテリアと外部の保守的な状態変数を対応する正確なフラックスにマッピングするように設計された、監視された学習を使用して訓練されたニューラルネットワークベースのサロゲートモデルの構築を提案します。
具体的には、2つの異なるアプローチを提案します。1つはバニラニューラルネットワークを利用し、もう1つは双フィ性ニューラルネットワークを採用しています。
提案されたアプローチのパフォーマンスは、1次元および2次元の部分微分方程式への応用を通じて実証され、堅牢性と精度を示します。

要約(オリジナル)

The Riemann problem is fundamental in the computational modeling of hyperbolic partial differential equations, enabling the development of stable and accurate upwind schemes. While exact solvers provide robust upwinding fluxes, their high computational cost necessitates approximate solvers. Although approximate solvers achieve accuracy in many scenarios, they produce inaccurate solutions in certain cases. To overcome this limitation, we propose constructing neural network-based surrogate models, trained using supervised learning, designed to map interior and exterior conservative state variables to the corresponding exact flux. Specifically, we propose two distinct approaches: one utilizing a vanilla neural network and the other employing a bi-fidelity neural network. The performance of the proposed approaches is demonstrated through applications to one-dimensional and two-dimensional partial differential equations, showcasing their robustness and accuracy.

arxiv情報

著者 Akshay Thakur,Matthew J. Zahr
発行日 2025-03-17 15:01:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, physics.flu-dyn | Neural network-based Godunov corrections for approximate Riemann solvers using bi-fidelity learning はコメントを受け付けていません

Learning Program Behavioral Models from Synthesized Input-Output Pairs

投稿日: 2025年3月18日 作成者: jarxiv

要約

Modelizerを紹介します。これは、ブラックボックスプログラムを考慮して、ニューラルマシン翻訳アルゴリズムを使用して入出力の動作からモデルを学習する新しいフレームワークです。
結果のモデルは元のプログラムをmockします：入力が与えられた場合、モデルはプログラムによって生成された出力を予測します。
ただし、モデルも可逆的です。つまり、モデルは特定の出力を生成した入力を予測できます。
最後に、モデルは微分可能であり、プログラムの動作の特定の側面のみを予測するために効率的に制限される可能性があります。
Modelizerは、文法を使用して合成し、入力と監視なしトークンザーを使用して、結果の出力を分解し、トークンストリーム間のシーケンス間の関連性を学習できるようにします。
入力文法以外に、Modelizerにはプログラムを実行する機能が必要です。
結果のモデルは小さく、MarkdownやHTMLなどの言語には630万パラメーターが必要です。
そして、それらは正確で、最大95.4％の精度と、実世界のアプリケーションをモッキングする標準誤差0.04を備えたBLEUスコアが0.98を達成しています。
コードではなく実行から学習し、予測すると、ModelizerはLLM中心の研究傾向から逸脱し、個々のプログラムに完全に調整されたプログラム固有のモデルの新しい機会を開きます。
実際、特にプログラムの出力がプログラムの動作のあらゆる側面になる可能性があるため、これらのモデルのいくつかのアプリケーションを予測しています。
プログラムの動作をock笑および予測するだけでなく、モデルは、障害やカバレッジなどの特定の動作を生成する可能性のある入力を合成することもでき、プログラムの理解とメンテナンスを支援します。

要約(オリジナル)

We introduce Modelizer – a novel framework that, given a black-box program, learns a model from its input/output behavior using neural machine translation algorithms. The resulting model mocks the original program: Given an input, the model predicts the output that would have been produced by the program. However, the model is also reversible – that is, the model can predict the input that would have produced a given output. Finally, the model is differentiable and can be efficiently restricted to predict only a certain aspect of the program behavior. Modelizer uses grammars to synthesize and inputs and unsupervised tokenizers to decompose the resulting outputs, allowing it to learn sequence-to-sequence associations between token streams. Other than input grammars, Modelizer only requires the ability to execute the program. The resulting models are small, requiring fewer than 6.3 million parameters for languages such as Markdown or HTML; and they are accurate, achieving up to 95.4% accuracy and a BLEU score of 0.98 with standard error 0.04 in mocking real-world applications. As it learns from and predicts executions rather than code, Modelizer departs from the LLM-centric research trend, opening new opportunities for program-specific models that are fully tuned towards individual programs. Indeed, we foresee several applications of these models, especially as the output of the program can be any aspect of program behavior. Beyond mocking and predicting program behavior, the models can also synthesize inputs that are likely to produce a particular behavior, such as failures or coverage, thus assisting in program understanding and maintenance.

arxiv情報

著者 Tural Mammadov,Dietrich Klakow,Alexander Koller,Andreas Zeller
発行日 2025-03-17 15:04:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: (Primary), 68Q42, cs.LG, cs.SE, D.2.5, secondary | Learning Program Behavioral Models from Synthesized Input-Output Pairs はコメントを受け付けていません

Mirror Online Conformal Prediction with Intermittent Feedback

投稿日: 2025年3月18日 作成者: jarxiv

要約

オンラインのコンフォーマル予測により、そのパフォーマンスに関するフィードバックを使用して、事前に訓練された人工知能モデルのランタイムキャリブレーションが可能になります。
キャリブレーションは、長期的なカバレッジ保証を確保するために、オンラインルールを介して更新されるセット予測によって達成されます。
最近の研究では、事前知識をキャリブレーションプロセスに組み込むことの利点が実証されていますが、これは、カバレッジ保証を、分位の損失に基づく具体的な後悔保証に置き換えるための犠牲を払っています。
この作業では、断続的なミラーオンラインコンフォーマル予測（IM-OCP）を紹介します。これは、長期的なカバレッジを維持し、線形下の後悔を達成しながら、事前知識を統合する新しいランタイムキャリブレーションフレームワークです。
IM-OCPは、メモリの複雑さを最小限に抑えたクローズドフォームの更新を備えており、潜在的に断続的なフィードバックの下で動作するように設計されています。

要約(オリジナル)

Online conformal prediction enables the runtime calibration of a pre-trained artificial intelligence model using feedback on its performance. Calibration is achieved through set predictions that are updated via online rules so as to ensure long-term coverage guarantees. While recent research has demonstrated the benefits of incorporating prior knowledge into the calibration process, this has come at the cost of replacing coverage guarantees with less tangible regret guarantees based on the quantile loss. This work introduces intermittent mirror online conformal prediction (IM-OCP), a novel runtime calibration framework that integrates prior knowledge, while maintaining long-term coverage and achieving sub-linear regret. IM-OCP features closed-form updates with minimal memory complexity, and is designed to operate under potentially intermittent feedback.

arxiv情報

著者 Bowen Wang,Matteo Zecchin,Osvaldo Simeone
発行日 2025-03-17 15:16:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP | Mirror Online Conformal Prediction with Intermittent Feedback はコメントを受け付けていません

Graph Generative Models Evaluation with Masked Autoencoder

投稿日: 2025年3月18日 作成者: jarxiv

要約

近年、多数のグラフ生成モデル（GGM）が提案されています。
ただし、これらのモデルを評価することは、主に実際のグラフを正確に表す意味のあるグラフ機能を抽出するのが難しいため、かなりの課題のままです。
ノード度分布、クラスタリング係数、ラプラシアンスペクトルなどのグラフ統計的特性に依存する従来の評価手法は、ノード機能を見落とし、スケーラビリティを欠いています。
グラフランダムニューラルネットワークまたはグラフ機能を抽出するための対照学習を採用する新たに提案されたディープラーニングベースの方法があり、従来の統計的方法と比較して優れたパフォーマンスを実証しますが、それらの実験結果は、これらの方法が常に異なるメトリックにわたって常にうまく機能しないことを示しています。
これらのメトリックには重複がありますが、一般に交換可能ではなく、それぞれが異なる視点から生成モデルを評価します。
この論文では、GGM評価のためにグラフ機能を効果的に抽出するためにグラフマスクされた自動エンコーダーを活用する新しい方法を提案します。
グラフで広範な実験を実施し、「FR \ ‘Echet距離（FD）」や「MMD Linear」など、多くのGGM評価メトリックにわたって以前に提案された方法よりも信頼性が高く効果的であることを経験的に実証します。
ただし、すべてのメトリックとデータセットで一貫して際立っている単一の方法はありません。
したがって、この研究は、特に生成モデルの最近の進歩に照らして、GGM評価技術に関連する重要性と課題に対する認識を高めることも目的としています。

要約(オリジナル)

In recent years, numerous graph generative models (GGMs) have been proposed. However, evaluating these models remains a considerable challenge, primarily due to the difficulty in extracting meaningful graph features that accurately represent real-world graphs. The traditional evaluation techniques, which rely on graph statistical properties like node degree distribution, clustering coefficients, or Laplacian spectrum, overlook node features and lack scalability. There are newly proposed deep learning-based methods employing graph random neural networks or contrastive learning to extract graph features, demonstrating superior performance compared to traditional statistical methods, but their experimental results also demonstrate that these methods do not always working well across different metrics. Although there are overlaps among these metrics, they are generally not interchangeable, each evaluating generative models from a different perspective. In this paper, we propose a novel method that leverages graph masked autoencoders to effectively extract graph features for GGM evaluations. We conduct extensive experiments on graphs and empirically demonstrate that our method can be more reliable and effective than previously proposed methods across a number of GGM evaluation metrics, such as ‘Fr\’echet Distance (FD)’ and ‘MMD Linear’. However, no single method stands out consistently across all metrics and datasets. Therefore, this study also aims to raise awareness of the significance and challenges associated with GGM evaluation techniques, especially in light of recent advances in generative models.

arxiv情報

著者 Chengen Wang,Murat Kantarcioglu
発行日 2025-03-17 15:23:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Graph Generative Models Evaluation with Masked Autoencoder はコメントを受け付けていません