Soft Prompt Threats: Attacking Safety Alignment and Unlearning in Open-Source LLMs through the Embedding Space

投稿日: 2025年4月17日 作成者: jarxiv

要約

LLMSの敵対的堅牢性に関する現在の研究は、自然言語空間での個別の入力操作に焦点を当てており、これを閉鎖モデルに直接転送できます。
ただし、このアプローチは、オープンソースモデルの着実な進行を無視しています。
オープンソースモデルが能力が進むにつれて、安全性がますます不可欠になるようにします。
しかし、完全なモデルアクセスを活用するオープンソースLLMに合わせた攻撃は、ほとんど未踏のままです。
この研究のギャップに対処し、入力トークンの連続埋め込み表現を直接攻撃する埋め込みスペース攻撃を提案します。
埋め込むスペース攻撃は、モデルのアライメントを回避し、離散攻撃やモデルの微調整よりも有害な行動をより効率的にトリガーすることがわかります。
さらに、学習のコンテキストで新しい脅威モデルを提示し、スペース攻撃を埋め込むことで、複数のデータセットとモデルにわたって未学習のLLMから削除された情報を抽出できることを示します。
私たちの調査結果は、オープンソースLLMSの重要な脅威モデルとして宇宙攻撃を埋め込むことを強調しています。
トリガー警告：付録には、暴力と嫌がらせのLLM生成テキストが含まれています。

要約(オリジナル)

Current research in adversarial robustness of LLMs focuses on discrete input manipulations in the natural language space, which can be directly transferred to closed-source models. However, this approach neglects the steady progression of open-source models. As open-source models advance in capability, ensuring their safety also becomes increasingly imperative. Yet, attacks tailored to open-source LLMs that exploit full model access remain largely unexplored. We address this research gap and propose the embedding space attack, which directly attacks the continuous embedding representation of input tokens. We find that embedding space attacks circumvent model alignments and trigger harmful behaviors more efficiently than discrete attacks or model fine-tuning. Furthermore, we present a novel threat model in the context of unlearning and show that embedding space attacks can extract supposedly deleted information from unlearned LLMs across multiple datasets and models. Our findings highlight embedding space attacks as an important threat model in open-source LLMs. Trigger Warning: the appendix contains LLM-generated text with violence and harassment.

arxiv情報

著者 Leo Schwinn,David Dobre,Sophie Xhonneux,Gauthier Gidel,Stephan Gunnemann
発行日 2025-04-16 15:15:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Soft Prompt Threats: Attacking Safety Alignment and Unlearning in Open-Source LLMs through the Embedding Space はコメントを受け付けていません

Approximation Bounds for Transformer Networks with Application to Regression

投稿日: 2025年4月17日 作成者: jarxiv

要約

H \ ‘古い関数とソボレフ関数のトランスネットワークの近似能力を調査し、これらの結果を適用して、依存観測でノンパラメトリック回帰推定に対処します。
First, we establish novel upper bounds for standard Transformer networks approximating sequence-to-sequence mappings whose component functions are H\’older continuous with smoothness index $\gamma \in (0,1]$. To achieve an approximation error $\varepsilon$ under the $L^p$-norm for $p \in [1, \infty]$, it suffices to use a fixed-depth Transformer network whose total number of
パラメーターは、$ \ varepsilon^{ – d_x n / \ gamma} $を拡大します
さまざまな$ \ beta $ -mixingデータの仮定に基づくノンパラメトリック回帰問題。これにより、サンプルの複雑さの境界が弱くなると、重量の大きさに制約があります。
変圧器の自己触媒層が列平均化を実行できる場合、ネットワークはシーケンスからシーケンスh \ ‘より古い関数を近似できることを示しており、自己関節メカニズムの解釈可能性に関する新しい洞察を提供します。

要約(オリジナル)

We explore the approximation capabilities of Transformer networks for H\’older and Sobolev functions, and apply these results to address nonparametric regression estimation with dependent observations. First, we establish novel upper bounds for standard Transformer networks approximating sequence-to-sequence mappings whose component functions are H\’older continuous with smoothness index $\gamma \in (0,1]$. To achieve an approximation error $\varepsilon$ under the $L^p$-norm for $p \in [1, \infty]$, it suffices to use a fixed-depth Transformer network whose total number of parameters scales as $\varepsilon^{-d_x n / \gamma}$. This result not only extends existing findings to include the case $p = \infty$, but also matches the best known upper bounds on number of parameters previously obtained for fixed-depth FNNs and RNNs. Similar bounds are also derived for Sobolev functions. Second, we derive explicit convergence rates for the nonparametric regression problem under various $\beta$-mixing data assumptions, which allow the dependence between observations to weaken over time. Our bounds on the sample complexity impose no constraints on weight magnitudes. Lastly, we propose a novel proof strategy to establish approximation bounds, inspired by the Kolmogorov-Arnold representation theorem. We show that if the self-attention layer in a Transformer can perform column averaging, the network can approximate sequence-to-sequence H\’older functions, offering new insights into the interpretability of self-attention mechanisms.

arxiv情報

著者 Yuling Jiao,Yanming Lai,Defeng Sun,Yang Wang,Bokai Yan
発行日 2025-04-16 15:25:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Approximation Bounds for Transformer Networks with Application to Regression はコメントを受け付けていません

Deep Learning Based Dynamics Identification and Linearization of Orbital Problems using Koopman Theory

投稿日: 2025年4月17日 作成者: jarxiv

要約

航空宇宙工学と科学の分野における2体および円制限の3体の問題の研究は、天の衛星と人工衛星の両方の動きを説明するのに役立つため、非常に重要です。
衛星と衛星層の飛行に対する需要の高まりにより、これらのシステムの迅速かつ効率的な制御がますます重要になっています。
これらのシステムのグローバルな線形化により、エンジニアはこれらの望ましい結果を達成するために制御方法を採用することができます。
循環、楕円形の2体の問題、および深い学習ベースのクープマン理論を介してL1ラグランジュポイントの周りの循環制限された3体の問題の同時システム識別とグローバルな線形化のためのデータ駆動型フレームワークを提案します。
線形Koopmanオペレーターは、カスタムアーキテクチャを備えた深いニューラルネットワークの純粋にデータ駆動型トレーニングを通じて発見されます。
このペーパーでは、Koopmanオペレーターが再訓練を必要とせずに他のさまざまな2体システムに一般化する能力を示しています。
また、同じアーキテクチャの能力を使用して、円形の制限された3体の問題に近いKoopmanオペレーターを正確に学習することを実証します。

要約(オリジナル)

The study of the Two-Body and Circular Restricted Three-Body Problems in the field of aerospace engineering and sciences is deeply important because they help describe the motion of both celestial and artificial satellites. With the growing demand for satellites and satellite formation flying, fast and efficient control of these systems is becoming ever more important. Global linearization of these systems allows engineers to employ methods of control in order to achieve these desired results. We propose a data-driven framework for simultaneous system identification and global linearization of the Circular, Elliptical and Perturbed Two-Body Problem as well as the Circular Restricted Three-Body Problem around the L1 Lagrange point via deep learning-based Koopman Theory, i.e., a framework that can identify the underlying dynamics and globally linearize it into a linear time-invariant (LTI) system. The linear Koopman operator is discovered through purely data-driven training of a Deep Neural Network with a custom architecture. This paper displays the ability of the Koopman operator to generalize to various other Two-Body systems without the need for retraining. We also demonstrate the capability of the same architecture to be utilized to accurately learn a Koopman operator that approximates the Circular Restricted Three-Body Problem.

arxiv情報

著者 George Nehma,Madhur Tiwari,Manasvi Lingam
発行日 2025-04-16 15:28:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: astro-ph.EP, cs.LG, math-ph, math.MP, physics.space-ph | Deep Learning Based Dynamics Identification and Linearization of Orbital Problems using Koopman Theory はコメントを受け付けていません

Battery-aware Cyclic Scheduling in Energy-harvesting Federated Learning

投稿日: 2025年4月17日 作成者: jarxiv

要約

Federated Learning（FL）は、分散学習のための有望な枠組みとして浮上していますが、その複雑さの高まりにより、特にクライアント側の計算から大きなエネルギー消費が生じています。
この課題は、エネルギーハーベストFL（EHFL）システムで特に重要です。このシステムでは、エネルギーリソースが限られているためにデバイスの可用性が変動します。
これらの問題に対処するために、ユーザーのバッテリーレベルに基づいて周期的なクライアント参加を導入するバッテリー認識FLフレームワークであるFedBacysを提案します。
FEDBACYSにより、クライアントは、クライアントをクラスタリングし、関与を順番にスケジュールすることにより、指定された送信時間の直前にエネルギーを節約し、ローカルトレーニングを戦略的に実行できます。
この設計は、冗長計算を最小限に抑え、システム全体のエネルギー使用量を削減し、学習安定性を向上させます。
私たちの実験は、FedBacysがエネルギー効率と性能の一貫性の観点から既存のアプローチを上回ることを示しており、非I.Dでも堅牢性を示しています。
データ分布のトレーニングと、非常にまれなバッテリー充電を備えています。
この作業は、EHFLへの周期的なクライアント参加の最初の包括的な評価を提示し、通信コストと計算コストの両方を統一されたリソースを認識したスケジューリング戦略に組み込みます。

要約(オリジナル)

Federated Learning (FL) has emerged as a promising framework for distributed learning, but its growing complexity has led to significant energy consumption, particularly from computations on the client side. This challenge is especially critical in energy-harvesting FL (EHFL) systems, where device availability fluctuates due to limited and time-varying energy resources. We propose FedBacys, a battery-aware FL framework that introduces cyclic client participation based on users’ battery levels to cope with these issues. FedBacys enables clients to save energy and strategically perform local training just before their designated transmission time by clustering clients and scheduling their involvement sequentially. This design minimizes redundant computation, reduces system-wide energy usage, and improves learning stability. Our experiments demonstrate that FedBacys outperforms existing approaches in terms of energy efficiency and performance consistency, exhibiting robustness even under non-i.i.d. training data distributions and with very infrequent battery charging. This work presents the first comprehensive evaluation of cyclic client participation in EHFL, incorporating both communication and computation costs into a unified, resource-aware scheduling strategy.

arxiv情報

著者 Eunjeong Jeong,Nikolaos Pappas
発行日 2025-04-16 15:38:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, math.IT | Battery-aware Cyclic Scheduling in Energy-harvesting Federated Learning はコメントを受け付けていません

AL-PINN: Active Learning-Driven Physics-Informed Neural Networks for Efficient Sample Selection in Solving Partial Differential Equations

投稿日: 2025年4月17日 作成者: jarxiv

要約

物理学に基づいたニューラルネットワーク（PINN）は、物理的制約を深い学習モデルに組み込むことにより、部分微分方程式（PDE）を解くための有望なアプローチとして浮上しています。
ただし、標準のPINNは、多くの場合、高精度を達成するために多数のトレーニングサンプルを必要とし、計算コストの増加につながります。
この問題に対処するために、サンプル選択を動的に最適化するための不確実性の定量化（UQ）とアクティブ学習（AL）戦略を統合するアクティブな学習駆動型PINN（AL-PINN）を提案します。
Al-Pinnは、モンテカルロドロップアウトを利用して、モデル予測の認識論的不確実性を推定し、追加のトレーニングのために高解釈領域の適応選択を可能にします。
このアプローチは、最も有益なデータポイントに計算リソースを集中させることにより、学習効率を大幅に向上させます。
既知の分析ソリューションと現実世界のウェザーベンチの気候データを伴うベンチマークPDE問題に関するAl-Pinnを評価します。
我々の結果は、Al-Pinnが従来のPINNと比較して同等または優れた精度を達成し、必要なトレーニングサンプルの数を減らすことを示しています。
提案されたフレームワークは、気候モデリング、医療シミュレーション、材料科学など、データ収集が高価または制限されている科学および工学アプリケーションにとって特に有益です。
私たちの調査結果は、高精度と計算効率を維持しながら、PINNベースのPDEソルバーを加速する際の積極的な学習の可能性を強調しています。

要約(オリジナル)

Physics-Informed Neural Networks (PINNs) have emerged as a promising approach for solving Partial Differential Equations (PDEs) by incorporating physical constraints into deep learning models. However, standard PINNs often require a large number of training samples to achieve high accuracy, leading to increased computational costs. To address this issue, we propose Active Learning-Driven PINNs (AL-PINN), which integrates Uncertainty Quantification (UQ) and Active Learning (AL) strategies to optimize sample selection dynamically. AL-PINN utilizes Monte Carlo Dropout to estimate epistemic uncertainty in the model predictions, enabling the adaptive selection of high-uncertainty regions for additional training. This approach significantly enhances learning efficiency by focusing computational resources on the most informative data points. We evaluate AL-PINN on benchmark PDE problems with known analytical solutions and real-world WeatherBench climate data. Our results demonstrate that AL-PINN achieves comparable or superior accuracy compared to traditional PINNs while reducing the number of required training samples. The proposed framework is particularly beneficial for scientific and engineering applications where data collection is expensive or limited, such as climate modeling, medical simulations, and material science. Our findings highlight the potential of active learning in accelerating PINN-based PDE solvers while maintaining high accuracy and computational efficiency.

arxiv情報

著者 Keon Vin Park
発行日 2025-04-16 15:40:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | AL-PINN: Active Learning-Driven Physics-Informed Neural Networks for Efficient Sample Selection in Solving Partial Differential Equations はコメントを受け付けていません

Towards a Foundation Model for Physics-Informed Neural Networks: Multi-PDE Learning with Active Sampling

投稿日: 2025年4月17日 作成者: jarxiv

要約

物理学に基づいたニューラルネットワーク（PINN）は、物理的法則をニューラルネットワークトレーニングに埋め込むことにより、部分微分方程式（PDE）を解くための強力なフレームワークとして浮上しています。
ただし、従来のPINNモデルは通常、単一のPDE向けに設計されており、異なる物理システムにわたって一般化可能性を制限します。
この作業では、統一されたアーキテクチャ内で複数のPDEを解くことができるファンデーションPINNモデルの可能性を探ります。
4つの異なるPDESでトレーニングされた単一のPINNフレームワークの有効性を調査します。単純な高調波発振器（SHO）、1D熱方程式、1D波方程式、および2Dラプラス方程式を調査し、多様な物理的ダイナミクスを学習する能力を示しています。
サンプル効率を高めるために、モンテカルロ（MC）ドロップアウトベースの不確実性推定を使用して、アクティブ学習（AL）を組み込み、最も有益なトレーニングサンプルを繰り返し選択します。
さまざまなアクティブな学習戦略を評価し、完全なデータセットの10％、20％、30％、40％、および50％でトレーニングされたモデルを比較し、ソリューションの精度への影響を分析します。
我々の結果は、ターゲットを絞った不確実性サンプリングにより、トレーニングサンプルが少なくなるとパフォーマンスが大幅に向上し、複数のPDEで効率的な学習につながることが示されています。
この作業は、ネットワークアーキテクチャを再設計することなく、さまざまな物理学ベースの問題に適応できる一般化可能なPINNベースの基礎モデルの実現可能性を強調しています。
私たちの調査結果は、アクティブ学習を備えたマルチPDE PINNが、物理ベースのディープ学習アプリケーションの高精度を維持しながら、計算コストを削減するための効果的なアプローチとして役立つことを示唆しています。

要約(オリジナル)

Physics-Informed Neural Networks (PINNs) have emerged as a powerful framework for solving partial differential equations (PDEs) by embedding physical laws into neural network training. However, traditional PINN models are typically designed for single PDEs, limiting their generalizability across different physical systems. In this work, we explore the potential of a foundation PINN model capable of solving multiple PDEs within a unified architecture. We investigate the efficacy of a single PINN framework trained on four distinct PDEs-the Simple Harmonic Oscillator (SHO), the 1D Heat Equation, the 1D Wave Equation, and the 2D Laplace Equation, demonstrating its ability to learn diverse physical dynamics. To enhance sample efficiency, we incorporate Active Learning (AL) using Monte Carlo (MC) Dropout-based uncertainty estimation, selecting the most informative training samples iteratively. We evaluate different active learning strategies, comparing models trained on 10%, 20%, 30%, 40%, and 50% of the full dataset, and analyze their impact on solution accuracy. Our results indicate that targeted uncertainty sampling significantly improves performance with fewer training samples, leading to efficient learning across multiple PDEs. This work highlights the feasibility of a generalizable PINN-based foundation model, capable of adapting to different physics-based problems without redesigning network architectures. Our findings suggest that multi-PDE PINNs with active learning can serve as an effective approach for reducing computational costs while maintaining high accuracy in physics-based deep learning applications.

arxiv情報

著者 Keon Vin Park
発行日 2025-04-16 15:40:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Towards a Foundation Model for Physics-Informed Neural Networks: Multi-PDE Learning with Active Sampling はコメントを受け付けていません

DelGrad: Exact event-based gradients for training delays and weights on spiking neuromorphic hardware

投稿日: 2025年4月17日 作成者: jarxiv

要約

スパイクニューラルネットワーク（SNN）は、情報を表現および処理するための信号のタイミングに本質的に依存しています。
シナプス重みとともに、トレーニング可能な伝送遅延を組み込むことは、これらの時間的ダイナミクスを形作るために重要です。
最近の方法では、精度とメモリ効率の点でトレーニングの遅延と重量の利点が示されていますが、それらは個別の時間、近似勾配、および膜電位などの内部変数への完全なアクセスに依存しています。
これにより、メモリ要件とI/O帯域幅の要求により、神経モルフィックハードウェアの精度、効率、および適合性が制限されます。
これらの課題に対処するために、シナプスの重みと遅延の両方の正確な損失勾配を計算する分析的なイベントベースの方法であるDelgragを提案します。
トレーニングプロセスに遅延を含めることは、提案された形式主義の中で自然に現れ、モデルの検索空間を時間的次元で豊かにします。
さらに、純粋にスパイクタイミングで接地されたデルグラードは、膜電位などの追加の変数を追跡する必要性を排除します。
この重要な利点を紹介するために、SNNをループ中のファッションでトレーニングすることにより、Brainscales-2 NeuromorphicプラットフォームでのDelgragの機能と利点を示します。
初めて、ノイズの多い混合シグナルハードウェアにSNNに遅延を追加することのメモリ効率と精度の利点を実験的に実証します。
さらに、これらの実験は、ノイズに対するネットワークを安定化するための遅延の可能性も明らかにしています。
Delgradは、神経モルフィックハードウェアの遅延でSNNをトレーニングするための新しい方法を開き、必要なパラメーターが少なくなり、より高い精度とハードウェアトレーニングが容易になります。

要約(オリジナル)

Spiking neural networks (SNNs) inherently rely on the timing of signals for representing and processing information. Incorporating trainable transmission delays, alongside synaptic weights, is crucial for shaping these temporal dynamics. While recent methods have shown the benefits of training delays and weights in terms of accuracy and memory efficiency, they rely on discrete time, approximate gradients, and full access to internal variables like membrane potentials. This limits their precision, efficiency, and suitability for neuromorphic hardware due to increased memory requirements and I/O bandwidth demands. To address these challenges, we propose DelGrad, an analytical, event-based method to compute exact loss gradients for both synaptic weights and delays. The inclusion of delays in the training process emerges naturally within our proposed formalism, enriching the model’s search space with a temporal dimension. Moreover, DelGrad, grounded purely in spike timing, eliminates the need to track additional variables such as membrane potentials. To showcase this key advantage, we demonstrate the functionality and benefits of DelGrad on the BrainScaleS-2 neuromorphic platform, by training SNNs in a chip-in-the-loop fashion. For the first time, we experimentally demonstrate the memory efficiency and accuracy benefits of adding delays to SNNs on noisy mixed-signal hardware. Additionally, these experiments also reveal the potential of delays for stabilizing networks against noise. DelGrad opens a new way for training SNNs with delays on neuromorphic hardware, which results in fewer required parameters, higher accuracy and ease of hardware training.

arxiv情報

著者 Julian Göltz,Jimmy Weber,Laura Kriener,Sebastian Billaudelle,Peter Lake,Johannes Schemmel,Melika Payvand,Mihai A. Petrovici
発行日 2025-04-16 15:42:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.ET, cs.LG, cs.NE | DelGrad: Exact event-based gradients for training delays and weights on spiking neuromorphic hardware はコメントを受け付けていません

Leave-One-Out Stable Conformal Prediction

投稿日: 2025年4月17日 作成者: jarxiv

要約

コンフォーマル予測（CP）は、分布のない予測不確実性の定量化のための重要なツールです。
しかし、主な課題は、特に複数の予測の場合、計算効率と予測精度のバランスをとることです。
サンプル分割なしでアルゴリズムの安定性を使用して完全なコンフォーマルをスピードアップする新しい方法である、休暇1-Out安定コンフォーマル予測（LOO-STABCP）を提案します。
Leave-one-Outの安定性を活用することにより、私たちの方法は、置換1の安定性に基づいて、既存のメソッドRO-STABCPと比較して、多数の予測要求を処理するのがはるかに高速です。
いくつかの一般的な機械学習ツールの安定性境界を導き出しました：正規化された損失最小化（RLM）と確率勾配降下（SGD）、およびカーネル法、ニューラルネットワーク、袋詰め。
私たちの方法は理論的に正当化され、合成データと現実世界のデータで優れた数値性能を示しています。
スクリーニング問題に方法を適用しました。この方法では、トレーニングデータの効果的な活用により、Splitのコンフォーマルに基づく最先端の方法と比較して、テスト力が改善されました。

要約(オリジナル)

Conformal prediction (CP) is an important tool for distribution-free predictive uncertainty quantification. Yet, a major challenge is to balance computational efficiency and prediction accuracy, particularly for multiple predictions. We propose Leave-One-Out Stable Conformal Prediction (LOO-StabCP), a novel method to speed up full conformal using algorithmic stability without sample splitting. By leveraging leave-one-out stability, our method is much faster in handling a large number of prediction requests compared to existing method RO-StabCP based on replace-one stability. We derived stability bounds for several popular machine learning tools: regularized loss minimization (RLM) and stochastic gradient descent (SGD), as well as kernel method, neural networks and bagging. Our method is theoretically justified and demonstrates superior numerical performance on synthetic and real-world data. We applied our method to a screening problem, where its effective exploitation of training data led to improved test power compared to state-of-the-art method based on split conformal.

arxiv情報

著者 Kiljae Lee,Yuan Zhang
発行日 2025-04-16 15:44:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Leave-One-Out Stable Conformal Prediction はコメントを受け付けていません

Reliable Physiological Monitoring on the Wrist Using Generative Deep Learning to Address Poor Skin-Sensor Contact

投稿日: 2025年4月17日 作成者: jarxiv

要約

フォトプレチスモグラフィ（PPG）は、消費者と臨床環境の両方で心血管の健康と生理学的パラメーターを監視するための広く採用された非侵襲的手法です。
動的環境でのモーションアーティファクトは広範囲に研究されていますが、座りがちな条件（重要でありながら採用されていない問題）での最適ではない皮膚センサー接触 – PPG波形の形態を歪め、主要な特徴の喪失または誤りを引き起こし、センシング精度を妥協することができます。
この作業では、CP-PPGを提案します。CP-PPGは、接触圧力を歪めたPPGシグナルを理想的な形態で高忠実度の波形に変換する新しいフレームワークであると提案します。
CP-PPGは、カスタムデータコレクションプロトコル、慎重に設計された信号処理パイプライン、およびカスタムPPG対応損失関数で訓練された新しい深い敵対モデルを統合します。
1）自己収集データセットの形態変換性能、2）パブリックデータセットの下流の生理学的モニタリングパフォーマンス、および3）ワイルド研究など、包括的な評価を通じてCP-PPGを検証しました。
広範な実験は、信号の忠実度（平均絶対誤差：0.09、40％の元の信号よりも40％の改善）の実質的かつ一貫した改善と、心拍数（HR）、心拍数変動（HRV）、呼吸速度（RR）、および血圧（BP）推定（BP）の推定値（BP）の21％改善のすべての評価における下流のパフォーマンスを示しています。
BPで4-5％）。
これらの発見は、PPGベースの生理学的モニタリングの信頼性と有効性を高めるために、皮膚センサーの接触問題に対処することの重要な重要性を強調しています。
したがって、CP-PPGは、臨床および消費者用途におけるウェアラブルヘルス技術の精度を改善する重要な可能性を秘めています。

要約(オリジナル)

Photoplethysmography (PPG) is a widely adopted, non-invasive technique for monitoring cardiovascular health and physiological parameters in both consumer and clinical settings. While motion artifacts in dynamic environments have been extensively studied, suboptimal skin-sensor contact in sedentary conditions – a critical yet underexplored issue – can distort PPG waveform morphology, leading to the loss or misalignment of key features and compromising sensing accuracy. In this work, we propose CP-PPG, a novel framework that transforms Contact Pressure-distorted PPG signals into high-fidelity waveforms with ideal morphology. CP-PPG integrates a custom data collection protocol, a carefully designed signal processing pipeline, and a novel deep adversarial model trained with a custom PPG-aware loss function. We validated CP-PPG through comprehensive evaluations, including 1) morphology transformation performance on our self-collected dataset, 2) downstream physiological monitoring performance on public datasets, and 3) in-the-wild study. Extensive experiments demonstrate substantial and consistent improvements in signal fidelity (Mean Absolute Error: 0.09, 40% improvement over the original signal) as well as downstream performance across all evaluations in Heart Rate (HR), Heart Rate Variability (HRV), Respiration Rate (RR), and Blood Pressure (BP) estimation (on average, 21% improvement in HR; 41-46% in HRV; 6% in RR; and 4-5% in BP). These findings highlight the critical importance of addressing skin-sensor contact issues to enhance the reliability and effectiveness of PPG-based physiological monitoring. CP-PPG thus holds significant potential to improve the accuracy of wearable health technologies in clinical and consumer applications.

arxiv情報

著者 Manh Pham Hung,Matthew Yiwen Ho,Yiming Zhang,Dimitris Spathis,Aaqib Saeed,Dong Ma
発行日 2025-04-16 15:51:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.LG | Reliable Physiological Monitoring on the Wrist Using Generative Deep Learning to Address Poor Skin-Sensor Contact はコメントを受け付けていません

Deep Variational Multivariate Information Bottleneck — A Framework for Variational Losses

投稿日: 2025年4月17日 作成者: jarxiv

要約

変分次元削減方法は、その精度、生成能力、および堅牢性に広く使用されています。
従来の方法や最先端の​​両方の方法を一般化する統一フレームワークを紹介します。
フレームワークは、多変量情報ボトルネックの解釈に基づいており、エンコーダーグラフに保存されている情報をデコーダーグラフ（データの生成モデルを定義する）に保存されている情報（圧縮するものを定義）を取引します。
このアプローチを使用して、深い変動情報ボトルネック、変分自動エンコーダー、ディープマルチビュー情報ボトルネックなど、既存の方法を再生します。
自然に深い変動CCA（DVCCA）ファミリーをベータDVCCAに拡張し、新しい方法であるディープバリエーション対称情報ボトルネック（DVSIB）を導入します。
DVSIBの決定論的限界であるDSIBは、とりわけBarlow Twinsなどの最新の対照的な学習アプローチに接続します。
騒々しいミニストと騒々しいCIFAR-100のこれらの方法を評価し、DVSIBやベータDVCCAなどの問題の構造によりよく一致するアルゴリズムは、分類精度、潜在変数の次元性、サンプル効率、および他のアプローチの一貫して他のアプローチを一貫して測定することによって測定されるように、より良い潜在スペースを生成します。
さらに、最先端のモデルに対してベンチマークし、優れたまたは競争の正確性を達成します。
我々の結果は、このフレームワークが多様なマルチビュー表現学習アルゴリズムをシームレスに組み込むことができ、斬新で問題​​固有の損失関数を設計するための基盤を提供できることを示しています。

要約(オリジナル)

Variational dimensionality reduction methods are widely used for their accuracy, generative capabilities, and robustness. We introduce a unifying framework that generalizes both such as traditional and state-of-the-art methods. The framework is based on an interpretation of the multivariate information bottleneck, trading off the information preserved in an encoder graph (defining what to compress) against that in a decoder graph (defining a generative model for data). Using this approach, we rederive existing methods, including the deep variational information bottleneck, variational autoencoders, and deep multiview information bottleneck. We naturally extend the deep variational CCA (DVCCA) family to beta-DVCCA and introduce a new method, the deep variational symmetric information bottleneck (DVSIB). DSIB, the deterministic limit of DVSIB, connects to modern contrastive learning approaches such as Barlow Twins, among others. We evaluate these methods on Noisy MNIST and Noisy CIFAR-100, showing that algorithms better matched to the structure of the problem like DVSIB and beta-DVCCA produce better latent spaces as measured by classification accuracy, dimensionality of the latent variables, sample efficiency, and consistently outperform other approaches under comparable conditions. Additionally, we benchmark against state-of-the-art models, achieving superior or competitive accuracy. Our results demonstrate that this framework can seamlessly incorporate diverse multi-view representation learning algorithms, providing a foundation for designing novel, problem-specific loss functions.

arxiv情報

著者 Eslam Abdelaleem,Ilya Nemenman,K. Michael Martini
発行日 2025-04-16 15:58:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.stat-mech, cs.IT, cs.LG, math.IT, physics.data-an | Deep Variational Multivariate Information Bottleneck — A Framework for Variational Losses はコメントを受け付けていません