Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer

投稿日: 2025年3月12日 作成者: jarxiv

要約

複雑なタスクのための相互組み込みロボット操作統合は、ペアの交差体拡大データセットの希少性と複雑なコントローラーの設計の障害のために、挑戦的です。
ガイド付きの人間の専門家のデモを介したロボット学習に触発された私たちは、ここでは、Cyclevaeと人間の行動変圧器を介して、新しい交差存在ロボット操作アルゴリズムを提案します。
まず、監視されていないサイクルヴァーと双方向サブスペースアライメントアルゴリズムを使用して、交差体間の潜在的な動きシーケンスを整列させます。
第二に、人間の専門家デモの本質的な動きのダイナミクスを学ぶために、カジュアルな人間の行動変圧器の設計を提案します。
テストの場合、人間の専門家のデモンストレーション生成に提案された変圧器を活用します。これは、最終的なヒトロボット操作合成のためにCyclevaeを使用して整列します。
ロボットハンドを使用した器用なロボットマニピュレーターを使用して、広範な実験を通じて提案されたアルゴリズムを検証しました。
私たちの結果は、複雑なタスク全体でスムーズな軌跡を生成し、事前の学習ベースのロボットモーション計画アルゴリズムを上回ります。
これらの結果は、監視されていない相互拡大の整合性と将来の自律的ロボット工学設計を実行することに影響を及ぼします。
実験の完全なビデオデモンストレーションは、https：//sites.google.com/view/humanrobots/homeにあります。

要約(オリジナル)

Cross-embodiment robotic manipulation synthesis for complicated tasks is challenging, partially due to the scarcity of paired cross-embodiment datasets and the impediment of designing intricate controllers. Inspired by robotic learning via guided human expert demonstration, we here propose a novel cross-embodiment robotic manipulation algorithm via CycleVAE and human behavior transformer. First, we utilize unsupervised CycleVAE together with a bidirectional subspace alignment algorithm to align latent motion sequences between cross-embodiments. Second, we propose a casual human behavior transformer design to learn the intrinsic motion dynamics of human expert demonstrations. During the test case, we leverage the proposed transformer for the human expert demonstration generation, which will be aligned using CycleVAE for the final human-robotic manipulation synthesis. We validated our proposed algorithm through extensive experiments using a dexterous robotic manipulator with the robotic hand. Our results successfully generate smooth trajectories across intricate tasks, outperforming prior learning-based robotic motion planning algorithms. These results have implications for performing unsupervised cross-embodiment alignment and future autonomous robotics design. Complete video demonstrations of our experiments can be found in https://sites.google.com/view/humanrobots/home.

arxiv情報

著者 Apan Dastider,Hao Fang,Mingjie Lin
発行日 2025-03-11 17:02:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Cross-Embodiment Robotic Manipulation Synthesis via Guided Demonstrations through CycleVAE and Human Behavior Transformer はコメントを受け付けていません

The Space Between: On Folding, Symmetries and Sampling

投稿日: 2025年3月12日 作成者: jarxiv

要約

最近の調査結果は、学習プロセス中の入力空間をreluアクティベーション関数を使用したニューラルネットワークの連続した層を示唆しています。
多くの作品はこの現象を示唆していますが、折りたたみを定量化するアプローチは、レリュー活性化空間でのハミング距離に基づいたスペース折りたたみ測定によって提案されたばかりでした。
この尺度を、入力データの等価クラスを導入することにより、より広いクラスのアクティベーション関数に一般化し、数学的および計算特性を分析し、実装のための効率的なサンプリング戦略を考え出します。
さらに、一般化エラーが低いときにネットワークの深さとともに空間の折りたたみ値が増加するが、エラーが増加すると減少することが観察されています。
これは、データマニホールド（例：反射下での不変性）で対称性を学んだ支持者が、スペースの折り目の観点から見ることができるようになり、ネットワークの一般化能力に貢献します。
これらの調査結果に触発されて、ネットワークがより高い折りたたみ値を特徴とするソリューションを求めることを奨励する新しい正規化スキームの概要を説明します。

要約(オリジナル)

Recent findings suggest that consecutive layers of neural networks with the ReLU activation function \emph{fold} the input space during the learning process. While many works hint at this phenomenon, an approach to quantify the folding was only recently proposed by means of a space folding measure based on Hamming distance in the ReLU activation space. We generalize this measure to a wider class of activation functions through introduction of equivalence classes of input data, analyse its mathematical and computational properties and come up with an efficient sampling strategy for its implementation. Moreover, it has been observed that space folding values increase with network depth when the generalization error is low, but decrease when the error increases. This underpins that learned symmetries in the data manifold (e.g., invariance under reflection) become visible in terms of space folds, contributing to the network’s generalization capacity. Inspired by these findings, we outline a novel regularization scheme that encourages the network to seek solutions characterized by higher folding values.

arxiv情報

著者 Michal Lewandowski,Bernhard Heinzl,Raphael Pisoni,Bernhard A. Moser
発行日 2025-03-11 14:54:25+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NE | The Space Between: On Folding, Symmetries and Sampling はコメントを受け付けていません

DISTINGUISH Workflow: A New Paradigm of Dynamic Well Placement Using Generative Machine Learning

投稿日: 2025年3月12日 作成者: jarxiv

要約

地理炭素抽出および地熱エネルギー、民間インフラストラクチャ、CO2貯蔵などの炭化水素抽出および新たな方向掘削アプリケーションのために、ジオステアーとして知られる掘削中の方向変化のリアルタイムプロセスが重要です。
地理エネルギー業界は、地下の不確実性を継続的に更新し、最新の観察をリアルタイムで考慮して最新の地質学的理解を捉える自動ジオステアリングワークフローを探しています。
「区別」を提案します。地質学的パラメーター化のための生成的敵対的ネットワーク（GAN）を統合することにより、地理的な敵対的ネットワーク（GANS）、モデル更新のアンサンブル方法、および指示訓練操作中の複雑な意思決定のためのグローバルなダイナミックプログラミング（DDP）の最適化を統合するように設計されたリアルタイムであるAI駆動型ワークフローを提案します。
Distinguish Frameworkは、関連する地質学的実現とフォワードニューラルネットワーク（FNN）を再現するためのGANモデルのオフライントレーニングに依存しており、特定のジオモデルのロギング装備（LWD）ツールの応答をモデル化します。
このペーパーでは、Gan-Geomodelの不確実性を段階的および掘削ビットの前に徐々に減少させ、それに応じて井戸計画を調整する初めてのワークフローを紹介します。
このワークフローは、リアルタイムLWDデータをDDPベースの意思決定サポートシステムと自動的に統合し、掘削に先立って地質学の予測モデルを強化し、より良いステアリングの決定につながります。
シンプルでありながら代表的なベンチマークケースを提示し、Distiutiusing Workflowプロトタイプによって達成されたパフォーマンス目標を文書化します。
このベンチマークは、将来の方法論的進歩とワークフローの改良の基盤となります。

要約(オリジナル)

The real-time process of directional changes while drilling, known as geosteering, is crucial for hydrocarbon extraction and emerging directional drilling applications such as geothermal energy, civil infrastructure, and CO2 storage. The geo-energy industry seeks an automatic geosteering workflow that continually updates the subsurface uncertainties and captures the latest geological understanding given the most recent observations in real-time. We propose ‘DISTINGUISH’: a real-time, AI-driven workflow designed to transform geosteering by integrating Generative Adversarial Networks (GANs) for geological parameterization, ensemble methods for model updating, and global discrete dynamic programming (DDP) optimization for complex decision-making during directional drilling operations. The DISTINGUISH framework relies on offline training of a GAN model to reproduce relevant geology realizations and a Forward Neural Network (FNN) to model Logging-While-Drilling (LWD) tools’ response for a given geomodel. This paper introduces a first-of-its-kind workflow that progressively reduces GAN-geomodel uncertainty around and ahead of the drilling bit and adjusts the well plan accordingly. The workflow automatically integrates real-time LWD data with a DDP-based decision support system, enhancing predictive models of geology ahead of drilling and leading to better steering decisions. We present a simple yet representative benchmark case and document the performance target achieved by the DISTINGUISH workflow prototype. This benchmark will be a foundation for future methodological advancements and workflow refinements.

arxiv情報

著者 Sergey Alyaev,Kristian Fossum,Hibat Errahmen Djecta,Jan Tveranger,Ahmed H. Elsheikh
発行日 2025-03-11 15:00:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, physics.geo-ph, stat.AP | DISTINGUISH Workflow: A New Paradigm of Dynamic Well Placement Using Generative Machine Learning はコメントを受け付けていません

External Knowledge Injection for CLIP-Based Class-Incremental Learning

投稿日: 2025年3月12日 作成者: jarxiv

要約

クラスインクリメンタル学習（CIL）により、学習システムは進化するデータストリームに継続的に適応することができます。
トレーニング前の進歩により、事前に訓練されたビジョン言語モデル（Clipなど）を活用することで、CILの有望な出発点が得られます。
ただし、Clipは、視覚的な埋め込みをクラス名に一致させ、言語を通じて伝えられる豊富なコンテキスト情報を見落とすことにより決定を下します。
たとえば、「CAT」の概念は、認識のために尾、毛皮、顔などの特徴に分解できます。
また、モデルは継続的に更新されているため、これらの詳細な機能はCILで上書きされ、補償のための外部知識が必要です。
この論文では、クリップベースのCIL用の外部知識インジェクション（エンジン）を紹介します。
データセットの外部からの知識移転を強化するために、視覚的およびテキストの両方のモダリティから有益な知識をコードするデュアルブランチインジェクションチューニングフレームワークを提案します。
視覚的なブランチは、視覚的特徴を豊かにするためにデータ増強によって強化され、テキストブランチはGPT-4を活用して識別記述子を書き直します。
このオンザフライの知識注入に加えて、推論中に予測結果を再ランクすることにより、調整後の知識も実装します。
挿入された知識により、モデルはデータが進化するにつれて、下流タスクの有益な機能をより適切にキャプチャできます。
広範な実験は、エンジンの最先端のパフォーマンスを示しています。
コードは、https：//github.com/renaisscode/engineで入手できます

要約(オリジナル)

Class-Incremental Learning (CIL) enables learning systems to continuously adapt to evolving data streams. With the advancement of pre-training, leveraging pre-trained vision-language models (e.g., CLIP) offers a promising starting point for CIL. However, CLIP makes decisions by matching visual embeddings to class names, overlooking the rich contextual information conveyed through language. For instance, the concept of “cat” can be decomposed into features like tail, fur, and face for recognition. Besides, since the model is continually updated, these detailed features are overwritten in CIL, requiring external knowledge for compensation. In this paper, we introduce ExterNal knowledGe INjEction (ENGINE) for CLIP-based CIL. To enhance knowledge transfer from outside the dataset, we propose a dual-branch injection tuning framework that encodes informative knowledge from both visual and textual modalities. The visual branch is enhanced with data augmentation to enrich the visual features, while the textual branch leverages GPT-4 to rewrite discriminative descriptors. In addition to this on-the-fly knowledge injection, we also implement post-tuning knowledge by re-ranking the prediction results during inference. With the injected knowledge, the model can better capture informative features for downstream tasks as data evolves. Extensive experiments demonstrate the state-of-the-art performance of ENGINE. Code is available at: https://github.com/RenaissCode/ENGINE

arxiv情報

著者 Da-Wei Zhou,Kai-Wen Li,Jingyi Ning,Han-Jia Ye,Lijun Zhang,De-Chuan Zhan
発行日 2025-03-11 15:00:22+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG | External Knowledge Injection for CLIP-Based Class-Incremental Learning はコメントを受け付けていません

PCA-Featured Transformer for Jamming Detection in 5G UAV Networks

投稿日: 2025年3月12日 作成者: jarxiv

要約

無人航空機（UAV）は、攻撃攻撃から大きなセキュリティリスクに直面しており、ネットワーク機能を損なう可能性があります。
従来の検出方法は、AIを搭載したジャミングに直面すると、その動作を動的に修正するときに不足することがよくありますが、現代の機械学習アプローチでは、攻撃署名の一時的なパターンとの実質的な機能エンジニアリングと闘いを頻繁に必要とします。
脆弱性は、時間分割デュプレックス（TDD）または周波数分割デュプレックス（FDD）を使用して5Gネットワ​​ークに拡張され、意図的な干渉によりサービスの品質が悪化する可能性があります。
主成分分析（PCA）を活用して、ワイヤレスセキュリティを改善するための特徴表現を改良する新しいU字型変圧器アーキテクチャを紹介します。
トレーニングプロセスは、出力エントロピーの不確実性を損失関数に組み込むことにより正規化されます。これは、堅牢なジャミング検出技術を可能にするために、補強学習（RL）にソフトアクタークリティック（SAC）アルゴリズムに触発されたメカニズムです。
アーキテクチャは、受信信号強度インジケーター（RSSI）や信号対干渉と雑音比（SINR）測定を含む重要なワイヤレス信号機能を処理するように特別に設計された修正されたトランスエンコーダーを備えています。
これを、ワイヤレス信号の固有の周期性を特異的に説明するカスタム位置エンコードメカニズムで補完し、時間的信号パターンのより正確な表現を可能にします。
さらに、バッチサイズのスケジューラを提案し、時系列データの収束を最適化するためのチャンキングテクニックを実装します。
これらの進歩は、この研究で導入された高度なU字型エンコーダデコーダートランスモデル内で、トレーニング速度の最大10倍の改善に貢献しています。
実験的評価は、エントロピーベースのアプローチの有効性を示しており、NLOSシナリオで85.06％の検出率を達成しています。

要約(オリジナル)

Unmanned Aerial Vehicles (UAVs) face significant security risks from jamming attacks, which can compromise network functionality. Traditional detection methods often fall short when confronting AI-powered jamming that dynamically modifies its behavior, while contemporary machine learning approaches frequently demand substantial feature engineering and struggle with temporal patterns in attack signatures. The vulnerability extends to 5G networks employing Time Division Duplex (TDD) or Frequency Division Duplex (FDD), where service quality may deteriorate due to deliberate interference. We introduce a novel U-shaped transformer architecture that leverages Principal Component Analysis (PCA) to refine feature representations for improved wireless security. The training process is regularized by incorporating the output entropy uncertainty into the loss function, a mechanism inspired by the Soft Actor-Critic (SAC) algorithm in Reinforcement Learning (RL) to enable robust jamming detection techniques. The architecture features a modified transformer encoder specially designed to process critical wireless signal features, including Received Signal Strength Indicator (RSSI) and Signal-to- Interference-plus-Noise Ratio (SINR) measurements. We complement this with a custom positional encoding mechanism that specifically accounts for the inherent periodicity of wireless signals,enabling a more accurate representation of temporal signal patterns. In addition, we propose a batch size scheduler and implement chunking techniques to optimize convergence for time series data. These advancements contribute to up to a ten times improvement in training speed within the advanced U-shaped encoder-decoder transformer model introduced in this study. Experimental evaluations demonstrate the effectiveness of our entropy-based approach, achieving detection rates of 85.06% in NLoS scenarios.

arxiv情報

著者 Joseanne Viana,Hamed Farkhari,Pedro Sebastiao,Victor P Gil Jimenez
発行日 2025-03-11 15:01:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | PCA-Featured Transformer for Jamming Detection in 5G UAV Networks はコメントを受け付けていません

Out-of-distribution robustness for multivariate analysis via causal regularisation

投稿日: 2025年3月12日 作成者: jarxiv

要約

分布シフトに対する堅牢性を保証する因果関係に根ざした古典的な機械学習アルゴリズムの正規化戦略を提案します。
アンカー回帰フレームワークに基づいて、部分的な最小二乗、低ランク回帰、多重線形回帰などの古典的な多変量解析アルゴリズムの損失関数に簡単な正規化項をどのように組み込むかを示します。
当社のフレームワークにより、ユーザーは損失関数の互換性を正規化戦略と効率的に検証できます。
選択されたアルゴリズムの推定量が提供され、合成および実世界の気候科学の問題における一貫性と有効性を示します。
経験的検証は、アンカー正規化の汎用性を強調し、多変量解析アプローチとの互換性と、分布シフトを守りながら複製可能性を高める役割を強調しています。
拡張されたアンカーフレームワークは、因果関係の推論方法論を進め、信頼できる分散除外一般化の必要性に対処します。

要約(オリジナル)

We propose a regularisation strategy of classical machine learning algorithms rooted in causality that ensures robustness against distribution shifts. Building upon the anchor regression framework, we demonstrate how incorporating a straightforward regularisation term into the loss function of classical multivariate analysis algorithms, such as (orthonormalized) partial least squares, reduced-rank regression, and multiple linear regression, enables out-of-distribution generalisation. Our framework allows users to efficiently verify the compatibility of a loss function with the regularisation strategy. Estimators for selected algorithms are provided, showcasing consistency and efficacy in synthetic and real-world climate science problems. The empirical validation highlights the versatility of anchor regularisation, emphasizing its compatibility with multivariate analysis approaches and its role in enhancing replicability while guarding against distribution shifts. The extended anchor framework advances causal inference methodologies, addressing the need for reliable out-of-distribution generalisation.

arxiv情報

著者 Homer Durand,Gherardo Varando,Nathan Mankovich,Gustau Camps-Valls
発行日 2025-03-11 15:03:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 62Hxx, cs.LG, stat.AP, stat.ME, stat.ML | Out-of-distribution robustness for multivariate analysis via causal regularisation はコメントを受け付けていません

Online Control-Informed Learning

投稿日: 2025年3月12日 作成者: jarxiv

要約

このペーパーでは、オンライン制御の分野で確立された最適な制御と状態推定技術を採用して、オンラインでの学習タスクを解決するために、確立された最適な制御と状態推定技術を採用するオンライン制御に基づいた学習（OCIL）フレームワークを提案します。
この新しい統合は、ノイズの多い測定データ、オンライン学習、データ効率など、機械学習における実用的な問題を効果的に処理します。
ロボットを調整可能な最適制御システムと見なすことにより、拡張カルマンフィルター（EKF）に基づいたオンラインパラメーター推定器を提案して、システムをオンラインファッションで段階的に調整し、指定された学習または制御タスクを完了できるようにします。
提案された方法は、データのノイズを効果的に管理することにより、学習の堅牢性を改善します。
OCILの収束を実証するために、理論分析が提供されます。
OCILの3つの学習モード、すなわちオンライン模倣学習、オンラインシステム識別、およびフライでのポリシーチューニングは、それらの有効性を検証する実験を介して調査されます。

要約(オリジナル)

This paper proposes an Online Control-Informed Learning (OCIL) framework, which employs the well-established optimal control and state estimation techniques in the field of control to solve a broad class of learning tasks in an online fashion. This novel integration effectively handles practical issues in machine learning such as noisy measurement data, online learning, and data efficiency. By considering any robot as a tunable optimal control system, we propose an online parameter estimator based on extended Kalman filter (EKF) to incrementally tune the system in an online fashion, enabling it to complete designated learning or control tasks. The proposed method also improves the robustness in learning by effectively managing noise in the data. Theoretical analysis is provided to demonstrate the convergence of OCIL. Three learning modes of OCIL, i.e. Online Imitation Learning, Online System Identification, and Policy Tuning On-the-fly, are investigated via experiments, which validate their effectiveness.

arxiv情報

著者 Zihao Liang,Tianyu Zhou,Zehui Lu,Shaoshuai Mou
発行日 2025-03-11 15:22:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO, cs.SY, eess.SY, math.OC | Online Control-Informed Learning はコメントを受け付けていません

ChromaFormer: A Scalable and Accurate Transformer Architecture for Land Cover Classification

投稿日: 2025年3月12日 作成者: jarxiv

要約

センチネルなどのシステムからのリモートセンシング画像は、約10メートルの解像度で地球の表面を完全にカバーします。
リモートセンシングコミュニティは、UcmercedやISPRS Vaihingenデータセットなどのベンチマークでの高いパフォーマンスにより、ディープラーニングモデルの広範な使用に移行しました。
UNETやResNetのバリエーションなどの畳み込みモデルは一般的にリモートセンシングに使用されますが、通常はRGB画像用に開発された3つのチャネルのみを受け入れますが、衛星システムは10以上を提供します。
最近、いくつかの変圧器アーキテクチャがリモートセンシングのために提案されていますが、それらは広範囲にベンチマークされておらず、通常、Salinas Valleyなどの小さなデータセットで使用されています。
一方、一部の国の第1レベルの管理部門全体で密な空間的な土地利用ラベルを取得することが可能になりつつあります。
スケーリング法の観察により、実質的に大きいマルチスペクトルトランスモデルが、これらの設定でリモートセンシングパフォーマンスに大きな飛躍をもたらす可能性があることが示唆されています。
この作業では、マルチスペクトル変圧器モデルのファミリーであるChromaformerを提案します。これは、モデルパラメーターの幅広い違いを評価して、ベルギーのフランダースの密にラベル付けされた画像データセットでのパフォーマンスとスケーリングの有効性を評価し、13,500 km^2を超える15クラスをカバーします。
新しいマルチスペクトルの注意戦略を提案し、アブレーションを通じてその有効性を実証します。
さらに、UNETなどの従来のアーキテクチャよりもはるかに大きいモデルモデルが実質的な精度の改善につながることを示しています。23Mパラメーターを持つUNET ++モデルは、655mパラメーターを持つマルチスペクトル変圧器がgan菌の生物学的評価マップで95％以上の精度を達成することを示しています。

要約(オリジナル)

Remote sensing imagery from systems such as Sentinel provides full coverage of the Earth’s surface at around 10-meter resolution. The remote sensing community has transitioned to extensive use of deep learning models due to their high performance on benchmarks such as the UCMerced and ISPRS Vaihingen datasets. Convolutional models such as UNet and ResNet variations are commonly employed for remote sensing but typically only accept three channels, as they were developed for RGB imagery, while satellite systems provide more than ten. Recently, several transformer architectures have been proposed for remote sensing, but they have not been extensively benchmarked and are typically used on small datasets such as Salinas Valley. Meanwhile, it is becoming feasible to obtain dense spatial land-use labels for entire first-level administrative divisions of some countries. Scaling law observations suggest that substantially larger multi-spectral transformer models could provide a significant leap in remote sensing performance in these settings. In this work, we propose ChromaFormer, a family of multi-spectral transformer models, which we evaluate across orders of magnitude differences in model parameters to assess their performance and scaling effectiveness on a densely labeled imagery dataset of Flanders, Belgium, covering more than 13,500 km^2 and containing 15 classes. We propose a novel multi-spectral attention strategy and demonstrate its effectiveness through ablations. Furthermore, we show that models many orders of magnitude larger than conventional architectures, such as UNet, lead to substantial accuracy improvements: a UNet++ model with 23M parameters achieves less than 65% accuracy, while a multi-spectral transformer with 655M parameters achieves over 95% accuracy on the Biological Valuation Map of Flanders.

arxiv情報

著者 Mingshi Li,Dusan Grujicic,Ben Somers,Stien Heremans,Steven De Saeger,Matthew B. Blaschko
発行日 2025-03-11 15:24:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG | ChromaFormer: A Scalable and Accurate Transformer Architecture for Land Cover Classification はコメントを受け付けていません

Machine Learning for Predicting Chaotic Systems

投稿日: 2025年3月12日 作成者: jarxiv

要約

混oticとした動的システムの予測は、天気予報など、多くの科学的分野で重要ですが、初期条件に特徴的な感度の依存のために挑戦的です。
従来のモデリングアプローチには、広範なドメインの知識が必要であり、多くの場合、機械学習を使用したデータ駆動型の方法への移行につながります。
ただし、既存の研究では、カオスシステムの予測に最適な機械学習方法が最適な結果を提供します。
このホワイトペーパーでは、広範な既存のベンチマークデータベースを使用して、さまざまな軽量およびヘビー級の機械学習アーキテクチャと、ベンチマーク結果の不確実性の定量化を可能にする新しく導入されたデータベースを比較します。
文献からの最先端の方法に加えて、確立された方法の新しい有利なバリアントも提示します。
ハイパーパラメーターのチューニングは、計算コストに基づいて調整され、より少ない費用のかかる方法にチューニングが割り当てられます。
さらに、従来のメトリックの望ましい特性を組み合わせ、カオスシステムに合わせて調整される累積最大誤差を導入します。
私たちの結果は、適切にチューニングされた単純な方法と、最先端の深い学習モデルよりも優れていることが多いことを示していますが、そのパフォーマンスは実験セットアップによって大きく異なる場合があります。
これらの調査結果は、データの特性と、過度に複雑なモデルの無差別使用に対する注意と注意を整えることの重要性を強調しています。

要約(オリジナル)

Predicting chaotic dynamical systems is critical in many scientific fields, such as weather forecasting, but challenging due to the characteristic sensitive dependence on initial conditions. Traditional modeling approaches require extensive domain knowledge, often leading to a shift towards data-driven methods using machine learning. However, existing research provides inconclusive results on which machine learning methods are best suited for predicting chaotic systems. In this paper, we compare different lightweight and heavyweight machine learning architectures using extensive existing benchmark databases, as well as a newly introduced database that allows for uncertainty quantification in the benchmark results. In addition to state-of-the-art methods from the literature, we also present new advantageous variants of established methods. Hyperparameter tuning is adjusted based on computational cost, with more tuning allocated to less costly methods. Furthermore, we introduce the cumulative maximum error, a novel metric that combines desirable properties of traditional metrics and is tailored for chaotic systems. Our results show that well-tuned simple methods, as well as untuned baseline methods, often outperform state-of-the-art deep learning models, but their performance can vary significantly with different experimental setups. These findings highlight the importance of aligning prediction methods with data characteristics and caution against the indiscriminate use of overly complex models.

arxiv情報

著者 Christof Schötz,Alistair White,Maximilian Gelbrecht,Niklas Boers
発行日 2025-03-11 15:30:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, nlin.CD | Machine Learning for Predicting Chaotic Systems はコメントを受け付けていません

Adaptive Topology Reconstruction for Robust Graph Representation Learning

投稿日: 2025年3月12日 作成者: jarxiv

要約

グラフニューラルネットワーク（GNNS）は、グラフ表現の半監視学習において基本的になり、複雑なノード関係をキャプチャする能力を活用しています。
GNN Researchの最近の傾向は、適応性のあるマルチホップ構造学習に焦点を当てており、固定ホップ集約を超えてより柔軟で動的な近隣選択に移行しています。
GAMLP \ CITEP {ZHANG_2022}は、各マルチホップドメインに個別のMLPレイヤーを使用し、コンテキスト化されたサブ構造情報を注入することにより、これを強化しますが、これらの方法は、定義されたサンプルを依然として依存しています。
これらの制限に対処するために、マルチホップ構造の学習を動的に洗練する\ textBf {Adaptive Reconstruction Framework}を提案します。
「Coreset Selection」\ citep {guo2022deepcore}に触発されたアプローチは、適応的に\ textbf {再構成}ノード近傍を再構築してメッセージの通過を最適化し、グラフ全体でより多くの\ textbf {効果的およびコンテキスト対応の情報フロー}を確保します。
構造の堅牢性をさらに強化するために、2つの重要なモジュールを紹介します：\ textbf {distance Recomputator}と\ textbf {Topology Reconstructor}（\ textcolor {blue} {drtr}）。
距離recomputator \ textBf {再評価および再編成}ノード距離は、適応グラフプロパティに基づいて距離を伸ばし、潜在的な関係をよりよく反映する\ textBF {改善されたノード埋め込み}につながります。
一方、トポロジー再構成\ textBf {ローカルグラフ構造を動的に洗練します}。モデルを\ textBf（進化するグラフトポロジに適応}にし、ノイズと誤ったデータの影響を軽減します。
経験的評価は、\ textBF {Adaptive Reconstruction Framework}が、既存のマルチホップベースのモデルよりも\ TextBF {大幅な改善}を達成し、さまざまなグラフ学習ベンチマークでより多くの\ TextBF {安定した正確}パフォーマンスを提供することを示しています。

要約(オリジナル)

Graph Neural Networks (GNNs) have become fundamental in semi-supervised learning for graph representation, leveraging their ability to capture complex node relationships. A recent trend in GNN research focuses on adaptive multi-hop structure learning, moving beyond fixed-hop aggregation to more flexible and dynamic neighborhood selection. While GAMLP \citep{Zhang_2022} employs separate MLP layers for each multi-hop domain and ImprovingTE \citep{Yao2023ImprovingTE} enhances this by injecting contextualized substructure information, these methods still rely heavily on predefined sampling strategies, which may limit their ability to generalize and maintain stable accuracy. To address these limitations, we propose an \textbf{adaptive reconstruction framework} that dynamically refines multi-hop structure learning. Inspired by ‘coreset selection’ \citep{guo2022deepcore}, our approach adaptively \textbf{reconstructs} node neighborhoods to optimize message passing, ensuring more \textbf{effective and context-aware information flow} across the graph. To further enhance structural robustness, we introduce two key modules: the \textbf{Distance Recomputator} and the \textbf{Topology Reconstructor} (\textcolor{blue}{DRTR}). The Distance Recomputator \textbf{reassesses and recalibrates} node distances based on adaptive graph properties, leading to \textbf{improved node embeddings} that better reflect latent relationships. Meanwhile, the Topology Reconstructor \textbf{dynamically refines local graph structures}, enabling the model to \textbf{adapt to evolving graph topologies} and mitigate the impact of noise and mislabeled data. Empirical evaluations demonstrate that our \textbf{adaptive reconstruction framework} achieves \textbf{significant improvements} over existing multi-hop-based models, providing more \textbf{stable and accurate} performance in various graph learning benchmarks.

arxiv情報

著者 Dong Liu,Yanxuan Yu
発行日 2025-03-11 15:34:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Adaptive Topology Reconstruction for Robust Graph Representation Learning はコメントを受け付けていません