Tensorization of neural networks for improved privacy and interpretability

投稿日: 2025年2月24日 作成者: jarxiv

要約

機能のテンソル列車表現を構築し、スケッチと交差補間のアイデアを描くためのテンソレーションアルゴリズムを提示します。
この方法では、ターゲット関数へのブラックボックスアクセスと、目的のドメインを定義する小さなサンプルポイントのセットのみが必要です。
したがって、これは、目的の領域がトレーニングデータセットによって自然に定義される機械学習モデルに特に適しています。
このアプローチを使用して、ニューラルネットワークモデルのプライバシーと解釈可能性を高めることができることを示します。
具体的には、分解を（i）トレーニングデータの分布に結び付けられたパラメーターをエンコードするパラメーターをエンコードする神経ネットワークを難読化し、（ii）テンソル列車の表現から簡単にアクセスできる物質のトポロジフェーズを推定する。
さらに、このテンソーゼーションは、一般的な設定でテンソル列車を最適化するための効率的な初期化方法として機能し、モデル圧縮のために、私たちのアルゴリズムは、神経ネットワークの従来のテンソーゼーション方法と比較して、メモリと時間の複雑さの間の優れたトレードオフを達成することを示しています。
。

要約(オリジナル)

We present a tensorization algorithm for constructing tensor train representations of functions, drawing on sketching and cross interpolation ideas. The method only requires black-box access to the target function and a small set of sample points defining the domain of interest. Thus, it is particularly well-suited for machine learning models, where the domain of interest is naturally defined by the training dataset. We show that this approach can be used to enhance the privacy and interpretability of neural network models. Specifically, we apply our decomposition to (i) obfuscate neural networks whose parameters encode patterns tied to the training data distribution, and (ii) estimate topological phases of matter that are easily accessible from the tensor train representation. Additionally, we show that this tensorization can serve as an efficient initialization method for optimizing tensor trains in general settings, and that, for model compression, our algorithm achieves a superior trade-off between memory and time complexity compared to conventional tensorization methods of neural networks.

arxiv情報

著者 José Ramón Pareja Monturiol,Alejandro Pozas-Kerstjens,David Pérez-García
発行日 2025-02-21 15:50:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA, physics.comp-ph, quant-ph | Tensorization of neural networks for improved privacy and interpretability はコメントを受け付けていません

Are Neuromorphic Architectures Inherently Privacy-preserving? An Exploratory Study

投稿日: 2025年2月24日 作成者: jarxiv

要約

機械学習（ML）モデルは主流になりつつありますが、特に敏感なアプリケーション領域では、データの漏れのリスクが懸念が高まっています。
メンバーシップ推論（MIA）のような攻撃は、訓練されたモデルが機密データを明らかにし、機密性を危険にさらす可能性があることを示しています。
従来の人工ニューラルネットワーク（ANN）がMLアプリケーションを支配していますが、神経型アーキテクチャ、特にスパイクニューラルネットワーク（SNN）は、生物学的ニューロンに似た低消費とイベント駆動の処理により、有望な代替手段として浮上しています。
Annsのプライバシーはよく研究されています。
ただし、SNNのプライバシーを提供するプロパティをほとんど調査していません。
このペーパーでは、SNNが本質的により良いプライバシーを提供するかどうかを調べます。
MIAを使用して、多様なデータセット全体でSNNとANNのプライバシーの回復力を評価します。
学習アルゴリズム（サロゲートグラデーションと進化的）、フレームワーク（Snntorch、Tennlab、LAVA）、およびSNNプライバシーのパラメーターの影響を分析します。
私たちの調査結果は、SNNがプライバシーの保存において一貫してANNよりも優れていることを示しており、進化的アルゴリズムは追加の回復力を提供します。
たとえば、CIFAR-10では、SNNSはANNSの0.82よりも有意に低い0.59のAUCを達成し、CIFAR-100では、SNNSはANNSの0.88と比較して0.58のAUCを維持します。
さらに、差別的にプライベートな確率的勾配降下（DPSGD）を備えたプライバシー – 活動性のトレードオフを調査し、SNNが同様のプライバシー制約の下でANNよりも精度の低下を維持することを発見しました。

要約(オリジナル)

While machine learning (ML) models are becoming mainstream, especially in sensitive application areas, the risk of data leakage has become a growing concern. Attacks like membership inference (MIA) have shown that trained models can reveal sensitive data, jeopardizing confidentiality. While traditional Artificial Neural Networks (ANNs) dominate ML applications, neuromorphic architectures, specifically Spiking Neural Networks (SNNs), are emerging as promising alternatives due to their low power consumption and event-driven processing, akin to biological neurons. Privacy in ANNs is well-studied; however, little work has explored the privacy-preserving properties of SNNs. This paper examines whether SNNs inherently offer better privacy. Using MIAs, we assess the privacy resilience of SNNs versus ANNs across diverse datasets. We analyze the impact of learning algorithms (surrogate gradient and evolutionary), frameworks (snnTorch, TENNLab, LAVA), and parameters on SNN privacy. Our findings show that SNNs consistently outperform ANNs in privacy preservation, with evolutionary algorithms offering additional resilience. For instance, on CIFAR-10, SNNs achieve an AUC of 0.59, significantly lower than ANNs’ 0.82, and on CIFAR-100, SNNs maintain an AUC of 0.58 compared to ANNs’ 0.88. Additionally, we explore the privacy-utility trade-off with Differentially Private Stochastic Gradient Descent (DPSGD), finding that SNNs sustain less accuracy loss than ANNs under similar privacy constraints.

arxiv情報

著者 Ayana Moshruba,Ihsen Alouani,Maryam Parsa
発行日 2025-02-21 15:55:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG, cs.NE | Are Neuromorphic Architectures Inherently Privacy-preserving? An Exploratory Study はコメントを受け付けていません

A Defensive Framework Against Adversarial Attacks on Machine Learning-Based Network Intrusion Detection Systems

投稿日: 2025年2月24日 作成者: jarxiv

要約

サイバー攻撃がますます洗練されるにつれて、高度なネットワーク侵入検知システム（NID）は、最新のネットワークセキュリティにとって重要です。
従来の署名ベースのNIDは、ゼロデイや進化する攻撃に対して不十分です。
それに応じて、機械学習（ML）ベースのNIDが有望な解決策として浮上しています。
しかし、それらは、ネットワークトラフィックをバイパス検出に微妙に操作する敵対的な回避攻撃に対して脆弱です。
この脆弱性に対処するために、敵対的なトレーニング、データセットバランス技術、高度な機能エンジニアリング、アンサンブル学習、および広範なモデル微調整を同時に統合することにより、MLベースのNIDの堅牢性を高める新しい防御フレームワークを提案します。
NSL-KDDおよびUNSW-NB15データセットを使用してフレームワークを検証します。
実験結果は、平均して、特に敵対条件下で、ベースラインモデルと比較して、検出精度が35％増加し、誤検知の12.5％の減少が示されています。
敵対的な攻撃に対する提案された防御は、実際のネットワークにおける堅牢なMLベースのNIDの実際の展開を大幅に進めています。

要約(オリジナル)

As cyberattacks become increasingly sophisticated, advanced Network Intrusion Detection Systems (NIDS) are critical for modern network security. Traditional signature-based NIDS are inadequate against zero-day and evolving attacks. In response, machine learning (ML)-based NIDS have emerged as promising solutions; however, they are vulnerable to adversarial evasion attacks that subtly manipulate network traffic to bypass detection. To address this vulnerability, we propose a novel defensive framework that enhances the robustness of ML-based NIDS by simultaneously integrating adversarial training, dataset balancing techniques, advanced feature engineering, ensemble learning, and extensive model fine-tuning. We validate our framework using the NSL-KDD and UNSW-NB15 datasets. Experimental results show, on average, a 35% increase in detection accuracy and a 12.5% reduction in false positives compared to baseline models, particularly under adversarial conditions. The proposed defense against adversarial attacks significantly advances the practical deployment of robust ML-based NIDS in real-world networks.

arxiv情報

著者 Benyamin Tafreshian,Shengzhi Zhang
発行日 2025-02-21 16:22:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | A Defensive Framework Against Adversarial Attacks on Machine Learning-Based Network Intrusion Detection Systems はコメントを受け付けていません

Model Privacy: A Unified Framework to Understand Model Stealing Attacks and Defenses

投稿日: 2025年2月24日 作成者: jarxiv

要約

機械学習（ML）の使用は、さまざまなドメインでますます普及しており、理解とその安全性を確保することの重要性を強調しています。
差し迫った懸念の1つは、MLアプリケーションが盗む攻撃をモデル化する脆弱性です。
これらの攻撃には、クラウドベースのサービスやオンチップ人工知能インターフェイスに見られるような限られたクエリ反応相互作用を通じて、学習モデルを回復しようとする敵が含まれます。
既存の文献はさまざまな攻撃と防衛戦略を提案していますが、これらはしばしば理論的基盤と標準化された評価基準を欠いています。
これに応じて、この作業は「モデルプライバシー」と呼ばれるフレームワークを提示し、モデル盗む攻撃と防御を包括的に分析するための基盤を提供します。
脅威モデルと目的のための厳密な定式化を確立し、攻撃戦略と防衛戦略の良さを定量化する方法を提案し、MLモデルのユーティリティとプライバシーの基本的なトレードオフを分析します。
私たちの開発された理論は、MLモデルのセキュリティを強化するための貴重な洞察を提供し、特に効果的な防御のための摂動の攻撃固有の構造の重要性を強調しています。
さまざまな学習シナリオを通じて、ディフェンダーの観点からモデルプライバシーの適用を実証します。
広範な実験は、提案されたフレームワークの下で開発された防衛メカニズムの洞察と有効性を裏付けています。

要約(オリジナル)

The use of machine learning (ML) has become increasingly prevalent in various domains, highlighting the importance of understanding and ensuring its safety. One pressing concern is the vulnerability of ML applications to model stealing attacks. These attacks involve adversaries attempting to recover a learned model through limited query-response interactions, such as those found in cloud-based services or on-chip artificial intelligence interfaces. While existing literature proposes various attack and defense strategies, these often lack a theoretical foundation and standardized evaluation criteria. In response, this work presents a framework called “Model Privacy”, providing a foundation for comprehensively analyzing model stealing attacks and defenses. We establish a rigorous formulation for the threat model and objectives, propose methods to quantify the goodness of attack and defense strategies, and analyze the fundamental tradeoffs between utility and privacy in ML models. Our developed theory offers valuable insights into enhancing the security of ML models, especially highlighting the importance of the attack-specific structure of perturbations for effective defenses. We demonstrate the application of model privacy from the defender’s perspective through various learning scenarios. Extensive experiments corroborate the insights and the effectiveness of defense mechanisms developed under the proposed framework.

arxiv情報

著者 Ganghua Wang,Yuhong Yang,Jie Ding
発行日 2025-02-21 16:29:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Model Privacy: A Unified Framework to Understand Model Stealing Attacks and Defenses はコメントを受け付けていません

Context-Aware Doubly-Robust Semi-Supervised Learning

投稿日: 2025年2月24日 作成者: jarxiv

要約

次世代通信システムにおける人工知能（AI）の広範な採用は、交通条件とネットワーク条件の不均一性によって挑戦されており、これは非常に文脈的なサイト固有のデータの使用を求めています。
有望な解決策は、実際のデータだけでなく、ネットワークデジタルツイン（NDT）によって生成された合成擬似データにも依存することです。
ただし、このアプローチの有効性は、NDTの精度にかかっています。これは、異なるコンテキストで大きく異なる場合があります。
この問題に対処するために、このペーパーでは、コンテキストに依存している新しいセミスパイブ化されたスキームである、コンテキストに依存している新しい半監視スキームであるコンテキストを介して、コンテキストを越えてNDTの忠実度に依存する新しい半監視スキームを紹介します。
CDRは、ダウンリンクビームフォーミングのタスクで評価され、以前の最先端のセミスパイブ化されたアプローチと比較して優れた性能を示しています。

要約(オリジナル)

The widespread adoption of artificial intelligence (AI) in next-generation communication systems is challenged by the heterogeneity of traffic and network conditions, which call for the use of highly contextual, site-specific, data. A promising solution is to rely not only on real-world data, but also on synthetic pseudo-data generated by a network digital twin (NDT). However, the effectiveness of this approach hinges on the accuracy of the NDT, which can vary widely across different contexts. To address this problem, this paper introduces context-aware doubly-robust (CDR) learning, a novel semi-supervised scheme that adapts its reliance on the pseudo-data to the different levels of fidelity of the NDT across contexts. CDR is evaluated on the task of downlink beamforming, showing superior performance compared to previous state-of-the-art semi-supervised approaches.

arxiv情報

著者 Clement Ruah,Houssem Sifaou,Osvaldo Simeone,Bashir Al-Hashimi
発行日 2025-02-21 16:38:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.SP | Context-Aware Doubly-Robust Semi-Supervised Learning はコメントを受け付けていません

A graph neural network-based model with Out-of-Distribution Robustness for enhancing Antiretroviral Therapy Outcome Prediction for HIV-1

投稿日: 2025年2月24日 作成者: jarxiv

要約

HIV-1の抗レトロウイルス療法（ART）の結果を予測することは、特に有効性データが限られている薬物が含まれている場合、臨床的な臨床的課題です。
このデータの希少性は、新薬が市場に導入されたため、または臨床環境での使用が限られているために発生する可能性があり、その結果、非常に不均衡な療法表現を伴う臨床データセットが生じます。
この問題に取り組むために、完全に接続された（FC）ニューラルネットワークとグラフニューラルネットワーク（GNN）の機能をマルチモダリティで組み合わせた新しいジョイント融合モデルを紹介します。
私たちのモデルは、遺伝的配列に関する表形式データと、ウイルス遺伝的配列に基づいて生体内治療効果を推測するためのベンチマーク参照として機能するスタンフォードの薬物耐性変異テーブルに由来する知識ベースの両方を使用しています。
グラフとして構成されたこのナレッジベースを活用することにより、GNNコンポーネントにより、当社のモデルは不均衡なデータ分布に適応し、分散分布（OOD）薬を説明できます。
これらのモデルの堅牢性をテストセットで評価しました。
当社の包括的な分析は、提案されたモデルが一貫してFCモデルを上回ることを示しています。
これらの結果は、スタンフォードスコアをモデルに統合し、それにより一般化可能性と堅牢性を高めるだけでなく、データの可用性が限られているより情報に基づいた臨床決定に貢献するという有用性を拡大するという利点を強調しています。
ソースコードは、https：//github.com/federicosiciliano/graph-ood-hivで入手できます

要約(オリジナル)

Predicting the outcome of antiretroviral therapies (ART) for HIV-1 is a pressing clinical challenge, especially when the ART includes drugs with limited effectiveness data. This scarcity of data can arise either due to the introduction of a new drug to the market or due to limited use in clinical settings, resulting in clinical dataset with highly unbalanced therapy representation. To tackle this issue, we introduce a novel joint fusion model, which combines features from a Fully Connected (FC) Neural Network and a Graph Neural Network (GNN) in a multi-modality fashion. Our model uses both tabular data about genetic sequences and a knowledge base derived from Stanford drug-resistance mutation tables, which serve as benchmark references for deducing in-vivo treatment efficacy based on the viral genetic sequence. By leveraging this knowledge base structured as a graph, the GNN component enables our model to adapt to imbalanced data distributions and account for Out-of-Distribution (OoD) drugs. We evaluated these models’ robustness against OoD drugs in the test set. Our comprehensive analysis demonstrates that the proposed model consistently outperforms the FC model. These results underscore the advantage of integrating Stanford scores in the model, thereby enhancing its generalizability and robustness, but also extending its utility in contributing in more informed clinical decisions with limited data availability. The source code is available at https://github.com/federicosiciliano/graph-ood-hiv

arxiv情報

著者 Giulia Di Teodoro,Federico Siciliano,Valerio Guarrasi,Anne-Mieke Vandamme,Valeria Ghisetti,Anders Sönnerborg,Maurizio Zazzi,Fabrizio Silvestri,Laura Palagi
発行日 2025-02-21 16:42:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68, cs.LG, I.2.6, q-bio.QM | A graph neural network-based model with Out-of-Distribution Robustness for enhancing Antiretroviral Therapy Outcome Prediction for HIV-1 はコメントを受け付けていません

Generalization of the Gibbs algorithm with high probability at low temperatures

投稿日: 2025年2月24日 作成者: jarxiv

要約

このペーパーは、Gibbsアルゴリズムの一般化誤差にバウンドを与えます。これは、高温範囲の既知のデータ非依存境界を回復し、低温範囲に拡張します。ここでは、一般化はデータ依存の損失状態に大きく依存します。
高い確率で、ギブス後部から引き出された単一の仮説の一般化誤差は、類似または小さい経験的誤差を持つすべての仮説の前の前の体積とともに減少することが示されています。
これにより、フラットミニマの利益に対する信念に理論的なサポートが得られます。
ゼロ温度制限について説明し、バウンドは同様の確率的アルゴリズムのクラスに拡張されます。

要約(オリジナル)

The paper gives a bound on the generalization error of the Gibbs algorithm, which recovers known data-independent bounds for the high temperature range and extends to the low-temperature range, where generalization depends critically on the data-dependent loss-landscape. It is shown, that with high probability the generalization error of a single hypothesis drawn from the Gibbs posterior decreases with the total prior volume of all hypotheses with similar or smaller empirical error. This gives theoretical support to the belief in the benefit of flat minima. The zero temperature limit is discussed and the bound is extended to a class of similar stochastic algorithms.

arxiv情報

著者 Andreas Maurer
発行日 2025-02-21 16:49:36+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68T05, cs.LG, G.3, stat.ML | Generalization of the Gibbs algorithm with high probability at low temperatures はコメントを受け付けていません

Refined climatologies of future precipitation over High Mountain Asia using probabilistic ensemble learning

投稿日: 2025年2月24日 作成者: jarxiv

要約

高山アジアは、極地の外側に最大の濃度濃度の凍結水を保持しており、19億人以上の人々にとって重要な水源として機能しています。
気候変動に直面して、降水量は、この分野の水文モデリングの不確実性の最大の原因を表しています。
将来の降水量の予測は、複雑なオログラフィ、その場の水文学的観察の欠如、およびこの地域の気候モデルの解決とパラメータ化の制限により、依然として困難です。
これらの課題によってもたらされる不確実性に対処するために、気候モデルはしばしばマルチモデルアンサンブルに集約されます。
マルチモデルのアンサンブルは、将来の気候の予測の予測精度と分析を改善することが知られていますが、モデルの集約方法に関するコンセンサスは不足しています。
この研究では、高山アジアを介した調整された地域ダウンスケーリング実験（Cordex）の13の地域気候モデルを組み合わせるための確率的機械学習フレームワークを提案します。
私たちのアプローチは、モデル内の季節的および空間的バイアスを説明し、より忠実な降水分布の予測を可能にします。
フレームワークは、グリッド型の履歴降水データに対して検証され、近い将来の投影（2036 $ \ unicode {x2013} $ 2065）およびfar future（2066 $ \ unicode {x2013} $ 2095）のRCP4.5およびRCP8.5.5.5.5.5.5.5.5.5.5.5.5.
シナリオ。

要約(オリジナル)

High Mountain Asia holds the largest concentration of frozen water outside the polar regions, serving as a crucial water source for more than 1.9 billion people. In the face of climate change, precipitation represents the largest source of uncertainty for hydrological modelling in this area. Future precipitation predictions remain challenging due to complex orography, lack of in situ hydrological observations, and limitations in climate model resolution and parametrisation for this region. To address the uncertainty posed by these challenges, climate models are often aggregated into multi-model ensembles. While multi-model ensembles are known to improve the predictive accuracy and analysis of future climate projections, consensus regarding how models are aggregated is lacking. In this study, we propose a probabilistic machine learning framework to combine 13 regional climate models from the Coordinated Regional Downscaling Experiment (CORDEX) over High Mountain Asia. Our approach accounts for seasonal and spatial biases within the models, enabling the prediction of more faithful precipitation distributions. The framework is validated against gridded historical precipitation data and is used to generate projections for the near future (2036$\unicode{x2013}$2065) and far future (2066$\unicode{x2013}$2095) under RCP4.5 and RCP8.5 scenarios.

arxiv情報

著者 Kenza Tazi,Sun Woo P. Kim,Marc Girona-Mata,Richard E. Turner
発行日 2025-02-21 17:33:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, physics.ao-ph, stat.ML | Refined climatologies of future precipitation over High Mountain Asia using probabilistic ensemble learning はコメントを受け付けていません

Exact Risk Curves of signSGD in High-Dimensions: Quantifying Preconditioning and Noise-Compression Effects

投稿日: 2025年2月24日 作成者: jarxiv

要約

近年、SignsGDは、実用的なオプティマイザーとAdamのような適応オプティマイザーを理解するための簡単なモデルの両方として興味を集めています。
SignsGDは前提条件の最適化に作用し、ノイズを再形成するという一般的なコンセンサスがありますが、理論的に解決可能な設定でこれらの効果を定量的に理解することは依然として困難です。
高次元の制限でsigngdの分析を提示し、リスクを説明するために制限されたSDEとODEを導き出します。
このフレームワークを使用して、SignsGDの4つの効果を定量化します。効果的な学習率、ノイズ圧縮、対角線の前処理、勾配ノイズの再形成です。
私たちの分析は実験的観察と一致していますが、これらの効果のデータとノイズ分布の依存性を定量化することにより、それを超えて動きます。
これらの結果がどのようにアダムに拡張されるかについての推測で結論付けます。

要約(オリジナル)

In recent years, signSGD has garnered interest as both a practical optimizer as well as a simple model to understand adaptive optimizers like Adam. Though there is a general consensus that signSGD acts to precondition optimization and reshapes noise, quantitatively understanding these effects in theoretically solvable settings remains difficult. We present an analysis of signSGD in a high dimensional limit, and derive a limiting SDE and ODE to describe the risk. Using this framework we quantify four effects of signSGD: effective learning rate, noise compression, diagonal preconditioning, and gradient noise reshaping. Our analysis is consistent with experimental observations but moves beyond that by quantifying the dependence of these effects on the data and noise distributions. We conclude with a conjecture on how these results might be extended to Adam.

arxiv情報

著者 Ke Liang Xiao,Noah Marshall,Atish Agarwala,Elliot Paquette
発行日 2025-02-21 17:38:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Exact Risk Curves of signSGD in High-Dimensions: Quantifying Preconditioning and Noise-Compression Effects はコメントを受け付けていません

Vibravox: A Dataset of French Speech Captured with Body-conduction Audio Sensors

投稿日: 2025年2月24日 作成者: jarxiv

要約

Vibravoxは、5つの異なる体伝導オーディオセンサーを使用したオーディオ録音を含む一般データ保護規制（GDPR）に準拠したデータセットです。
データセットには、リファレンスとして使用される空中マイクからのオーディオデータも含まれています。
Vibravoxコーパスには、高次のAmbisonics 3D Spatializerによって課されるさまざまな音響条件下で188人の参加者が記録した45時間の音声サンプルと生理学的音が含まれています。
記録条件と言語転写に関する注釈もコーパスに含まれています。
音声認識、音声強化、スピーカーの検証など、さまざまな音声関連タスクに関する一連の実験を実施しました。
これらの実験は、最先端のモデルを使用して実行され、個々の特性をよりよく理解することを目的として、Vibravoxデータセットによって提供されるさまざまなオーディオセンサーによってキャプチャされた信号のパフォーマンスを評価および比較しました。

要約(オリジナル)

Vibravox is a dataset compliant with the General Data Protection Regulation (GDPR) containing audio recordings using five different body-conduction audio sensors : two in-ear microphones, two bone conduction vibration pickups and a laryngophone. The dataset also includes audio data from an airborne microphone used as a reference. The Vibravox corpus contains 45 hours of speech samples and physiological sounds recorded by 188 participants under different acoustic conditions imposed by an high order ambisonics 3D spatializer. Annotations about the recording conditions and linguistic transcriptions are also included in the corpus. We conducted a series of experiments on various speech-related tasks, including speech recognition, speech enhancement and speaker verification. These experiments were carried out using state-of-the-art models to evaluate and compare their performances on signals captured by the different audio sensors offered by the Vibravox dataset, with the aim of gaining a better grasp of their individual characteristics.

arxiv情報

著者 Julien Hauret,Malo Olivier,Thomas Joubaud,Christophe Langrenne,Sarah Poirée,Véronique Zimpfer,Éric Bavu
発行日 2025-02-21 17:42:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.AS | Vibravox: A Dataset of French Speech Captured with Body-conduction Audio Sensors はコメントを受け付けていません