CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception

投稿日: 2025年5月28日 作成者: jarxiv

要約

構造化されていない環境での堅牢なロボット操作には、多くの場合、ビジョンのみを使用するのが困難な材料やコンプライアンスプロパティなど、ジオメトリを超えたオブジェクトプロパティを理解する必要があります。
マルチモーダルの触覚センシングは、そのような特性を推測するための有望な手段を提供しますが、進歩は、大規模で多様で現実的な触覚データセットの欠如によって制約されています。
この作業では、クランプデバイスを紹介します。クランプデバイスは、日常の設定で非専門家からの大規模でワイルドのマルチモーダルの触覚データを収集するために設計された低コスト（<\ $ 200）のセンサーライチャーグラバーを紹介します。 16のクランプデバイスを41人の参加者に展開し、これまでに最大のオープンソースマルチモーダルハプティックデータセットであるクランプデータセットを実現しました。 このデータセットを使用して、マルチモーダルの触覚データから材料およびコンプライアンスオブジェクトのプロパティを推測できる触覚エンコーダーをトレーニングします。 このエンコーダーを活用して、クランプモデル、視覚標準モデルである視覚標準モデルを作成します。これは、最小限の微調整を伴う新しいオブジェクトと3つのロボット実施形態に一般化する材料認識のためです。 また、3つの実際のロボット操作タスクでモデルの有効性を実証します。リサイクル可能でリサイクルできない廃棄物のソート、雑然としたバッグからオブジェクトの取得、熟したバナナから熟しすぎることを示しています。 私たちの結果は、大規模で野生の触覚データ収集が一般化可能なロボット操作の新しい機能のロックを解除できることを示しています。 ウェブサイト：https：//emprise.cs.cornell.edu/clamp/

要約(オリジナル)

Robust robot manipulation in unstructured environments often requires understanding object properties that extend beyond geometry, such as material or compliance-properties that can be challenging to infer using vision alone. Multimodal haptic sensing provides a promising avenue for inferring such properties, yet progress has been constrained by the lack of large, diverse, and realistic haptic datasets. In this work, we introduce the CLAMP device, a low-cost (<\$200) sensorized reacher-grabber designed to collect large-scale, in-the-wild multimodal haptic data from non-expert users in everyday settings. We deployed 16 CLAMP devices to 41 participants, resulting in the CLAMP dataset, the largest open-source multimodal haptic dataset to date, comprising 12.3 million datapoints across 5357 household objects. Using this dataset, we train a haptic encoder that can infer material and compliance object properties from multimodal haptic data. We leverage this encoder to create the CLAMP model, a visuo-haptic perception model for material recognition that generalizes to novel objects and three robot embodiments with minimal finetuning. We also demonstrate the effectiveness of our model in three real-world robot manipulation tasks: sorting recyclable and non-recyclable waste, retrieving objects from a cluttered bag, and distinguishing overripe from ripe bananas. Our results show that large-scale, in-the-wild haptic data collection can unlock new capabilities for generalizable robot manipulation. Website: https://emprise.cs.cornell.edu/clamp/

arxiv情報

著者 Pranav N. Thakkar,Shubhangi Sinha,Karan Baijal,Yuhan,Bian,Leah Lackey,Ben Dodson,Heisen Kong,Jueun Kwon,Amber Li,Yifei Hu,Alexios Rekoutis,Tom Silver,Tapomayukh Bhattacharjee
発行日 2025-05-27 17:58:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | CLAMP: Crowdsourcing a LArge-scale in-the-wild haptic dataset with an open-source device for Multimodal robot Perception はコメントを受け付けていません

Securing Federated Learning against Backdoor Threats with Foundation Model Integration

投稿日: 2025年5月28日 作成者: jarxiv

要約

Federated Learning（FL）は、プライバシーを維持しながら分散モデルトレーニングを可能にします。
最近、FLに基礎モデル（FMS）の統合により、パフォーマンスが向上しましたが、新しいバックドア攻撃メカニズムが導入されました。
攻撃者は、FMを埋め込んでFMによって生成された合成データにFMの脆弱性を活用できます。
グローバルモデルの融合中、これらのバックドアは、侵害された合成データを通じてグローバルモデルに転送され、その後すべてのクライアントモデルに感染します。
既存のFLバックドア防御は、古典的なメカニズムと比較して根本的に異なるメカニズムのため、この新しい攻撃に対して効果がありません。
この作業では、フロリダ州の古典的および新しいバックドア攻撃の両方に対処する新しいデータフリー防衛戦略を提案します。
共有攻撃パターンは、モデル集約中の隠された特徴空間内の異常な活性化にあります。
したがって、モデルの機能を維持しながら攻撃を効果的に軽減し、合理的な範囲内にとどまるように内部の活性化を制約することを提案します。
アクティベーションの制約は、FLトレーニングとともに合成データを使用して最適化されています。
広範な実験は、既存の防御を上回る、斬新なバックドア攻撃と古典的なバックドア攻撃の両方に対する有効性を示しています。

要約(オリジナル)

Federated Learning (FL) enables decentralized model training while preserving privacy. Recently, the integration of Foundation Models (FMs) into FL has enhanced performance but introduced a novel backdoor attack mechanism. Attackers can exploit FM vulnerabilities to embed backdoors into synthetic data generated by FMs. During global model fusion, these backdoors are transferred to the global model through compromised synthetic data, subsequently infecting all client models. Existing FL backdoor defenses are ineffective against this novel attack due to its fundamentally different mechanism compared to classic ones. In this work, we propose a novel data-free defense strategy that addresses both classic and novel backdoor attacks in FL. The shared attack pattern lies in the abnormal activations within the hidden feature space during model aggregation. Hence, we propose to constrain internal activations to remain within reasonable ranges, effectively mitigating attacks while preserving model functionality. The activation constraints are optimized using synthetic data alongside FL training. Extensive experiments demonstrate its effectiveness against both novel and classic backdoor attacks, outperforming existing defenses.

arxiv情報

著者 Xiaohuan Bi,Xi Li
発行日 2025-05-27 16:10:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | Securing Federated Learning against Backdoor Threats with Foundation Model Integration はコメントを受け付けていません

DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models

投稿日: 2025年5月28日 作成者: jarxiv

要約

低ランク適応（LORA）は、ビジョン言語モデル（VLMS）および大手言語モデル（LLM）をトレーニングするための最も効果的で計算上の扱いやすい微調整アプローチの1つとして浮上しています。
Loraは、事前に訓練されたモデルの重みを凍結し、トレーニング可能な低ランクマトリックスを注入することでこれを達成し、エッジデバイスでもこれらの基礎モデルを効率的に学習できるようにします。
ただし、分散型設定のLORAは、特に滑らかさの保証とモデルのコンセンサス干渉がないため、理論的な基盤のために、依然として調査中に残っています（以下で正式に定義されています）。
この作業により、分散型ロラ（dlora）の収束速度が改善され、勾配の滑らかさを確保することにより分散型SGDの速度と一致します。
また、コンセンサス干渉を解決するために、Dloraを切り捨てられた特異値分解（TSVD）ベースのマトリックス因数分解と統合する新しいアルゴリズムであるDecafも紹介します。
理論分析では、TSVDの近似誤差が境界があり、dloraとデカフの間のコンセンサスの違いがランクが増加すると消滅し、デカフの一致する収束率が得られます。
ビジョン/言語タスク全体の広範な実験により、アルゴリズムはローカルトレーニングを上回り、IIDデータ分布と非IIDデータ分布の両方で連邦学習をライバルにします。

要約(オリジナル)

Low-Rank Adaptation (LoRA) has emerged as one of the most effective, computationally tractable fine-tuning approaches for training Vision-Language Models (VLMs) and Large Language Models (LLMs). LoRA accomplishes this by freezing the pre-trained model weights and injecting trainable low-rank matrices, allowing for efficient learning of these foundation models even on edge devices. However, LoRA in decentralized settings still remains under explored, particularly for the theoretical underpinnings due to the lack of smoothness guarantee and model consensus interference (defined formally below). This work improves the convergence rate of decentralized LoRA (DLoRA) to match the rate of decentralized SGD by ensuring gradient smoothness. We also introduce DeCAF, a novel algorithm integrating DLoRA with truncated singular value decomposition (TSVD)-based matrix factorization to resolve consensus interference. Theoretical analysis shows TSVD’s approximation error is bounded and consensus differences between DLoRA and DeCAF vanish as rank increases, yielding DeCAF’s matching convergence rate. Extensive experiments across vision/language tasks demonstrate our algorithms outperform local training and rivals federated learning under both IID and non-IID data distributions.

arxiv情報

著者 Nastaran Saadati,Zhanhong Jiang,Joshua R. Waite,Shreyan Ganguly,Aditya Balu,Chinmay Hegde,Soumik Sarkar
発行日 2025-05-27 16:10:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models はコメントを受け付けていません

Square$χ$PO: Differentially Private and Robust $χ^2$-Preference Optimization in Offline Direct Alignment

投稿日: 2025年5月28日 作成者: jarxiv

要約

この論文では、好みのラベルの腐敗とプライバシー保護の両方の下で、言語モデルのオフラインアライメントと人間の好みのフィードバックを理論的に研究します。
この目的のために、正方形の$ \ chi $ poを提案します。これは、標準のログロスが確率で新しい平方損失に置き換えられる$ \ chi $ poへの単純な1行の変更です。
この新しい損失の固有のプロパティのおかげで、私たちは、差別的にプライベートで堅牢なオフラインの直接的な直接的なアートの最先端を進めました。
具体的には、ラベルプライバシーのローカルモデルの場合、Square $ \ Chi $ POは、一般的な関数近似でも単一ポリシーの濃度に基づいて最適なレートを達成する最初のアルゴリズムです。
また、プロンプト（応答）とラベルの両方でプライバシー保護の中央モデルで最初の結果をもたらします。
Huberラベルの腐敗に対する堅牢性の側面では、正方形の$ \ chi $ POは、一般的な関数近似の下で意味のある理論的保証を持つ最初のアラインメント法です。
さらに重要なことは、Square $ \ Chi $ POは、プライバシーの保護と腐敗に同時に対処できることです。ここでは、興味深い分離が観察され、プライバシーと腐敗の順序が重要であることを意味します。
さらに、正方形の$ \ chi $ poを簡単に拡張して、腐敗とプライバシーの下で最先端の保証を使用して、一般的な選好モデルのシナリオを処理できることも示します。
最後になりましたが、私たちの理論的保証はすべて、腐敗とプライバシーの制約の下での最小二乗回帰の一般化誤差境界に関する新しい結果に基づいて、統一された分析を享受しています。

要約(オリジナル)

In this paper, we theoretically study the offline alignment of language models with human preference feedback, under both preference label corruption and privacy protections. To this end, we propose Square$\chi$PO, a simple one-line change to $\chi$PO where the standard log-loss is replaced by a new square loss over probability. Thanks to the inherent properties of this new loss, we have advanced the state-of-the-art of differentially private and robust offline direct alignment. Specifically, for the local model of label privacy, Square$\chi$PO is the first algorithm that attains an optimal rate based on single-policy concentrability even with general function approximations. It also gives the first result under the central model of privacy protection over both prompts (responses) and labels. On the robustness side against Huber label corruption, Square$\chi$PO is the first alignment method that has a meaningful theoretical guarantee under general function approximations. More importantly, Square$\chi$PO can address privacy protection and corruption simultaneously, where an interesting separation is observed, implying that the order of privacy and corruption matters. Furthermore, we show that Square$\chi$PO can also be easily extended to handle the scenario of the general preference model with state-of-the-art guarantees under corruption and privacy. Last but not least, all of our theoretical guarantees enjoy a unified analysis, building upon a new result on the generalization error bounds of least-square regression under corruption and privacy constraints, which we believe is of independent interest to the community.

arxiv情報

著者 Xingyu Zhou,Yulian Wu,Wenqian Weng,Francesco Orabona
発行日 2025-05-27 16:23:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Square$χ$PO: Differentially Private and Robust $χ^2$-Preference Optimization in Offline Direct Alignment はコメントを受け付けていません

A Convergence Theory for Diffusion Language Models: An Information-Theoretic Perspective

投稿日: 2025年5月28日 作成者: jarxiv

要約

拡散モデルは、最新の生成モデリングの強力なパラダイムとして浮上しており、大規模な言語モデル（LLM）の強力な可能性を示しています。
トークンを順次生成する従来の自己回帰（AR）モデルとは異なり、拡散モデルは並列トークンサンプリングを有効にし、生成を速くし、左から右への生成の制約を排除します。
彼らの経験的成功にもかかわらず、拡散モデルアプローチの理論的理解は未発達のままです。
この作業では、情報理論的な観点から拡散言語モデルの収束保証を開発します。
私たちの分析は、Kullback-Leibler（KL）の発散によって測定されたサンプリングエラーが、反復数$ t $と逆に減衰し、ターゲットテキストシーケンスのトークン間の相互情報と直線的に縮小することを示しています。
特に、収束分析の圧迫感を実証するために、一定の要因までの一致する上限と下限を確立します。
これらの結果は、拡散言語モデルの実用的な有効性に関する新しい理論的洞察を提供します。

要約(オリジナル)

Diffusion models have emerged as a powerful paradigm for modern generative modeling, demonstrating strong potential for large language models (LLMs). Unlike conventional autoregressive (AR) models that generate tokens sequentially, diffusion models enable parallel token sampling, leading to faster generation and eliminating left-to-right generation constraints. Despite their empirical success, the theoretical understanding of diffusion model approaches remains underdeveloped. In this work, we develop convergence guarantees for diffusion language models from an information-theoretic perspective. Our analysis demonstrates that the sampling error, measured by the Kullback-Leibler (KL) divergence, decays inversely with the number of iterations $T$ and scales linearly with the mutual information between tokens in the target text sequence. In particular, we establish matching upper and lower bounds, up to some constant factor, to demonstrate the tightness of our convergence analysis. These results offer novel theoretical insights into the practical effectiveness of diffusion language models.

arxiv情報

著者 Gen Li,Changxiao Cai
発行日 2025-05-27 16:24:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, math.IT, math.ST, stat.ML, stat.TH | A Convergence Theory for Diffusion Language Models: An Information-Theoretic Perspective はコメントを受け付けていません

Dual Natural Gradient Descent for Scalable Training of Physics-Informed Neural Networks

投稿日: 2025年5月28日 作成者: jarxiv

要約

自然勾配の方法は、物理学に基づいたニューラルネットワーク（PINN）のトレーニングを著しく加速しますが、ガウス – ネストンの更新はパラメータースペースで解決する必要があります。
代わりに、まったく同じステップを、サイズ$ m = \ sum _ {\ gamma} n _ {\ gamma} d _ {\ gamma} $の一般的に小さな残留空間で処方できることを示します。
$ d _ {\ gamma} $。
この洞察に基づいて、\ textit {dual urather Gradient降下}（d-ngd）を紹介します。
D-NGDはガウスを計算し、残留空間でのネストンステップを計算し、無視できる追加コストで測地線加速修正でそれを増強し、控えめな$ m $の密な直接ソルバーと、より大きな$ m $のニスストロム環境のコンジュゲート勾配ソルバーの両方を提供します。
実験的には、D-NGDは最大1280万パラメーターを持つネットワークへの2次PINNの最適化をスケーリングし、1次のメソッド（ADAM、SGD）および準ニュートンメソッドよりも1〜3桁低い最終誤差$ l^2 $を提供します。

要約(オリジナル)

Natural-gradient methods markedly accelerate the training of Physics-Informed Neural Networks (PINNs), yet their Gauss–Newton update must be solved in the parameter space, incurring a prohibitive $O(n^3)$ time complexity, where $n$ is the number of network trainable weights. We show that exactly the same step can instead be formulated in a generally smaller residual space of size $m = \sum_{\gamma} N_{\gamma} d_{\gamma}$, where each residual class $\gamma$ (e.g. PDE interior, boundary, initial data) contributes $N_{\gamma}$ collocation points of output dimension $d_{\gamma}$. Building on this insight, we introduce \textit{Dual Natural Gradient Descent} (D-NGD). D-NGD computes the Gauss–Newton step in residual space, augments it with a geodesic-acceleration correction at negligible extra cost, and provides both a dense direct solver for modest $m$ and a Nystrom-preconditioned conjugate-gradient solver for larger $m$. Experimentally, D-NGD scales second-order PINN optimization to networks with up to 12.8 million parameters, delivers one- to three-order-of-magnitude lower final error $L^2$ than first-order methods (Adam, SGD) and quasi-Newton methods, and — crucially — enables natural-gradient training of PINNs at this scale on a single GPU.

arxiv情報

著者 Anas Jnini,Flavio Vella
発行日 2025-05-27 16:27:23+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Dual Natural Gradient Descent for Scalable Training of Physics-Informed Neural Networks はコメントを受け付けていません

Comparison of the Cox proportional hazards model and Random Survival Forest algorithm for predicting patient-specific survival probabilities in clinical trial data

投稿日: 2025年5月28日 作成者: jarxiv

要約

Cox比例ハザードモデルは、多くの場合、時間からイベントの結果を持つランダム化比較試験（RCT）からのデータを分析するために使用されます。
Random Survival Forest（RSF）は、予測パフォーマンスが高いことで知られている機械学習アルゴリズムです。
RCTの2つの参照データセットに基づいて、さまざまなシミュレーションシナリオでCOX回帰とRSFのパフォーマンスを比較するために、包括的なニュートラル比較研究を実施します。
動機は、三脚（個々の予後または診断のための多変数予測モデルの透明な報告）の推奨に応じた測定値を使用して、パフォーマンスのさまざまな側面を比較するときに、1つの方法が他の方法よりも好ましい設定を特定することです。
我々の結果は、C Indexにのみ基づいて結論が、COX-PHおよびRSFモデルの予測精度を実際の観察時間からイベントまでのデータに基づいて比較し、方法論者によって批判されている以前の研究で主に使用されてきたパフォーマンス尺度であり、予測的なパフォーマンスの他の側面に一般化できないことを示しています。
全体的なパフォーマンスの測定値は、一般により合理的な結果をもたらす可能性があり、RSFに使用される標準的なログランク分割ルールは、特に非均一なハザード設定では、代替分割ルールによってアウトパフォームされる可能性があることがわかりました。
私たちのシミュレーションでは、RSFのパフォーマンスは、これらがないデータと比較して、治療腫瘍相互作用を伴うデータのパフォーマンスが低下します。
COX-PHモデルのパフォーマンスは、比例ハザードの仮定の違反の影響を受けます。

要約(オリジナル)

The Cox proportional hazards model is often used to analyze data from Randomized Controlled Trials (RCT) with time-to-event outcomes. Random survival forest (RSF) is a machine-learning algorithm known for its high predictive performance. We conduct a comprehensive neutral comparison study to compare the performance of Cox regression and RSF in various simulation scenarios based on two reference datasets from RCTs. The motivation is to identify settings in which one method is preferable over the other when comparing different aspects of performance using measures according to the TRIPOD (Transparent Reporting of a multivariable prediction model for Individual Prognosis or Diagnosis) recommendations. Our results show that conclusions solely based on the C index, a performance measure that has been predominantly used in previous studies comparing predictive accuracy of the Cox-PH and RSF model based on real-world observational time-to-event data and that has been criticized by methodologists, may not be generalizable to other aspects of predictive performance. We found that measures of overall performance may generally give more reasonable results, and that the standard log-rank splitting rule used for the RSF may be outperformed by alternative splitting rules, in particular in nonproportional hazards settings. In our simulations, performance of the RSF suffers less in data with treatment-covariate interactions compared to data where these are absent. Performance of the Cox-PH model is affected by the violation of the proportional hazards assumption.

arxiv情報

著者 Ricarda Graf,Susan Todd,M. Fazil Baksh
発行日 2025-05-27 16:40:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Comparison of the Cox proportional hazards model and Random Survival Forest algorithm for predicting patient-specific survival probabilities in clinical trial data はコメントを受け付けていません

From Continual Learning to SGD and Back: Better Rates for Continual Linear Models

投稿日: 2025年5月28日 作成者: jarxiv

要約

私たちは、オーバーパラメーター化されたモデルが共同で実現可能なタスクのセットに順次適合される一般的な継続的な学習セットアップを理論的に研究します。
$ k $ iterations後の忘却、つまり、以前に見たタスクの損失を分析します。
連続的な線形モデルの場合、タスクに適合することは、修正された目的での単一の確率勾配降下（SGD）ステップに相当することを証明します。
実現可能な最小二乗セットアップで、新しい最後のSGD上限を開発します。これを活用して、継続的な学習のために新しい結果を導き出します。
$ t $タスクを超えるランダムな注文に焦点を当て、普遍的な忘却率を確立しますが、既存のレートは問題の次元または複雑さに依存します。
具体的には、置換による継続的な回帰では、$ o（（d-r）/k）$から$ o（k^{ – 1/4}、\ sqrt {d-r}/k、\ sqrt {tr}/k））から$ o（（d-r）/k）$から$ o（\ sqrt {tr}/k）を改善します。
さらに、交換せずにランダムなタスク順序の最初のレートを確立します。
得られた$ o（\ min（t^{-1/4}、（d-r）/t））$の得られた速度は、タスクの繰り返しなしでランダム化のみが十分に長いタスクシーケンスで壊滅的な忘却を防ぐことができることを初めて証明します。
最後に、分離可能なデータの継続的な線形分類のために、一致する$ o（k^{-1/4}）$忘却率を証明します。
私たちのユニバーサルレートは、Block KaczmarzやPocsなどのより広範な投影方法に適用され、I.I.D。の下での損失収束を照らします。
ワンパス注文。

要約(オリジナル)

We theoretically study the common continual learning setup where an overparameterized model is sequentially fitted to a set of jointly realizable tasks. We analyze the forgetting, i.e., loss on previously seen tasks, after $k$ iterations. For continual linear models, we prove that fitting a task is equivalent to a single stochastic gradient descent (SGD) step on a modified objective. We develop novel last-iterate SGD upper bounds in the realizable least squares setup, which we then leverage to derive new results for continual learning. Focusing on random orderings over $T$ tasks, we establish universal forgetting rates, whereas existing rates depend on the problem dimensionality or complexity. Specifically, in continual regression with replacement, we improve the best existing rate from $O((d-r)/k)$ to $O(\min(k^{-1/4}, \sqrt{d-r}/k, \sqrt{Tr}/k))$, where $d$ is the dimensionality and $r$ the average task rank. Furthermore, we establish the first rate for random task orderings without replacement. The obtained rate of $O(\min(T^{-1/4}, (d-r)/T))$ proves for the first time that randomization alone, with no task repetition, can prevent catastrophic forgetting in sufficiently long task sequences. Finally, we prove a matching $O(k^{-1/4})$ forgetting rate for continual linear classification on separable data. Our universal rates apply for broader projection methods, such as block Kaczmarz and POCS, illuminating their loss convergence under i.i.d. and one-pass orderings.

arxiv情報

著者 Itay Evron,Ran Levinstein,Matan Schliserman,Uri Sherman,Tomer Koren,Daniel Soudry,Nathan Srebro
発行日 2025-05-27 16:49:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | From Continual Learning to SGD and Back: Better Rates for Continual Linear Models はコメントを受け付けていません

A Physics-Augmented GraphGPS Framework for the Reconstruction of 3D Riemann Problems from Sparse Data

投稿日: 2025年5月28日 作成者: jarxiv

要約

圧縮可能な流体の流れでは、ショック、不連続性、希少活動、およびまばらな測定からの相互作用の再構築は、実際のアプリケーションで重要な逆の問題です。
さらに、物理学に基づいた機械学習は最近、再構築タスクを実行するためのますます人気のあるアプローチになりました。
この作業では、物理学に基づいた方法で、まばらな観測から3Dリーマンの問題として知られる標準圧縮性フローを再構築するためのグラフGPSとして知られる機械学習レシピを探ります。
GraphGPSフレームワークは、位置エンコーディング、グラフのローカルメッセージパス、およびグローバルなコンテキスト認識の利点を組み合わせており、アブレーション研究を通じて後者の2つのコンポーネントを調査します。
さらに、メッセージ通過の集約ステップを変更して、ショックや不連続性を認識し、これらの機能のより鋭い再構成をもたらします。
さらに、情報通過を変更して、情報が既知のノードのみから厳密に流れるようになり、計算の節約、トレーニングの収束の改善、再構成の精度の分解が生じません。
また、GraphGPSフレームワークが多数の機械学習ベンチマークよりも優れていることも示しています。

要約(オリジナル)

In compressible fluid flow, reconstructing shocks, discontinuities, rarefactions, and their interactions from sparse measurements is an important inverse problem with practical applications. Moreover, physics-informed machine learning has recently become an increasingly popular approach for performing reconstructions tasks. In this work we explore a machine learning recipe, known as GraphGPS, for reconstructing canonical compressible flows known as 3D Riemann problems from sparse observations, in a physics-informed manner. The GraphGPS framework combines the benefits of positional encodings, local message-passing of graphs, and global contextual awareness, and we explore the latter two components through an ablation study. Furthermore, we modify the aggregation step of message-passing such that it is aware of shocks and discontinuities, resulting in sharper reconstructions of these features. Additionally, we modify message-passing such that information flows strictly from known nodes only, which results in computational savings, better training convergence, and no degradation of reconstruction accuracy. We also show that the GraphGPS framework outperforms numerous machine learning benchmarks.

arxiv情報

著者 Rami Cassia,Rich Kerswell
発行日 2025-05-27 16:49:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.flu-dyn | A Physics-Augmented GraphGPS Framework for the Reconstruction of 3D Riemann Problems from Sparse Data はコメントを受け付けていません

When Shift Happens – Confounding Is to Blame

投稿日: 2025年5月28日 作成者: jarxiv

要約

分布シフトは、機械学習モデルの堅牢性と一般化能力を損なう不確実性を導入します。
従来の知恵は、因果不変の表現を学習することでそのような変化に対する堅牢性が向上することを示唆していますが、最近の経験的研究は、直感に反する発見を示しています。
経験的証拠と理論的証拠の両方に基づいて、私たちはこの現象を隠れた交絡に起因します。
隠された交絡のシフトは、既存のOOD一般化アプローチによって一般的に行われた仮定に違反するデータ分布の変化を引き起こします。
このような条件下では、効果的な一般化には、不変の関係だけに依存するのではなく、環境固有の関係を学習する必要があることが証明されます。
さらに、隠された交絡因子のプロキシで増強されたモデルが、隠された交絡シフトによってもたらされる課題を軽減できることを示しています。
これらの調査結果は、堅牢なOOD一般化アルゴリズムと原則的な共変量選択戦略を設計するための新しい理論的洞察と実用的なガイダンスを提供します。

要約(オリジナル)

Distribution shifts introduce uncertainty that undermines the robustness and generalization capabilities of machine learning models. While conventional wisdom suggests that learning causal-invariant representations enhances robustness to such shifts, recent empirical studies present a counterintuitive finding: (i) empirical risk minimization (ERM) can rival or even outperform state-of-the-art out-of-distribution (OOD) generalization methods, and (ii) its OOD generalization performance improves when all available covariates, not just causal ones, are utilized. Drawing on both empirical and theoretical evidence, we attribute this phenomenon to hidden confounding. Shifts in hidden confounding induce changes in data distributions that violate assumptions commonly made by existing OOD generalization approaches. Under such conditions, we prove that effective generalization requires learning environment-specific relationships, rather than relying solely on invariant ones. Furthermore, we show that models augmented with proxies for hidden confounders can mitigate the challenges posed by hidden confounding shifts. These findings offer new theoretical insights and practical guidance for designing robust OOD generalization algorithms and principled covariate selection strategies.

arxiv情報

著者 Abbavaram Gowtham Reddy,Celia Rubio-Madrigal,Rebekka Burkholz,Krikamol Muandet
発行日 2025-05-27 16:50:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | When Shift Happens – Confounding Is to Blame はコメントを受け付けていません