Adversarial Data Collection: Human-Collaborative Perturbations for Efficient and Robust Robotic Imitation Learning

投稿日: 2025年3月17日 作成者: jarxiv

要約

品質の量を上回るデータ効率の追求は、特に現実世界のデータ収集に関連する高いコストを考えると、ロボット操作の基礎として浮上しています。
個々のデモンストレーションの情報密度を最大化すると、タスクのパフォーマンスを向上させながら、大規模なデータセットへの依存を劇的に減らすことができると提案します。
この目的のために、リアルタイムの双方向性の人間と環境の相互作用を通じてロボットデータの収集を再定義する人間のループ（HIL）フレームワークである敵対的なデータ収集を紹介します。
静的なデモンストレーションを受動的に記録する従来のパイプラインとは異なり、ADCは共同摂動パラダイムを採用します。単一のエピソードでは、敵対的な演算子はオブジェクトの状態、環境条件、言語コマンドを動的に変化させます。
このプロセスは、多様な障害回復行動、構成タスクの変動、環境摂動を最小限のデモンストレーションに圧縮します。
私たちの実験は、ADCトレーニングを受けたモデルが、目に見えないタスク命令に対して優れた組成一般化、知覚摂動に対する堅牢性の強化、および緊急エラー回復機能を達成することを示しています。
驚くべきことに、ADCを介して収集されたデモ巻の20％のみで訓練されたモデルは、完全なデータセットを使用して従来のアプローチを大幅に上回ります。
これらの進歩は、データ中心の学習パラダイムと実用的なロボット展開の間のギャップを埋め尽くし、単に事後処理ではなく戦略的データ収集がスケーラブルで実世界のロボット学習にとって重要であることを示しています。
さらに、敵対的な摂動を伴う現実世界の操作タスクを含む大規模なADCロボットデータセットをキュレーションしています。
このベンチマークは、ロボット模倣学習の進歩を促進するためにオープンソーリングされます。

要約(オリジナル)

The pursuit of data efficiency, where quality outweighs quantity, has emerged as a cornerstone in robotic manipulation, especially given the high costs associated with real-world data collection. We propose that maximizing the informational density of individual demonstrations can dramatically reduce reliance on large-scale datasets while improving task performance. To this end, we introduce Adversarial Data Collection, a Human-in-the-Loop (HiL) framework that redefines robotic data acquisition through real-time, bidirectional human-environment interactions. Unlike conventional pipelines that passively record static demonstrations, ADC adopts a collaborative perturbation paradigm: during a single episode, an adversarial operator dynamically alters object states, environmental conditions, and linguistic commands, while the tele-operator adaptively adjusts actions to overcome these evolving challenges. This process compresses diverse failure-recovery behaviors, compositional task variations, and environmental perturbations into minimal demonstrations. Our experiments demonstrate that ADC-trained models achieve superior compositional generalization to unseen task instructions, enhanced robustness to perceptual perturbations, and emergent error recovery capabilities. Strikingly, models trained with merely 20% of the demonstration volume collected through ADC significantly outperform traditional approaches using full datasets. These advances bridge the gap between data-centric learning paradigms and practical robotic deployment, demonstrating that strategic data acquisition, not merely post-hoc processing, is critical for scalable, real-world robot learning. Additionally, we are curating a large-scale ADC-Robotics dataset comprising real-world manipulation tasks with adversarial perturbations. This benchmark will be open-sourced to facilitate advancements in robotic imitation learning.

arxiv情報

著者 Siyuan Huang,Yue Liao,Siyuan Feng,Shu Jiang,Si Liu,Hongsheng Li,Maoqing Yao,Guanghui Ren
発行日 2025-03-14 17:59:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO | Adversarial Data Collection: Human-Collaborative Perturbations for Efficient and Robust Robotic Imitation Learning はコメントを受け付けていません

Classifying Long-tailed and Label-noise Data via Disentangling and Unlearning

投稿日: 2025年3月17日 作成者: jarxiv

要約

実際のデータセットでは、長期にわたる分布とノイズの多いラベルの課題がしばしば共存し、モデルのトレーニングとパフォーマンスに障害をもたらします。
長い尾のあるノイズのあるラベル学習（LTNLL）に関する既存の研究は、通常、ノイズの多いラベルの生成は、実際の観点からは当てはまらない長期尾の分布とは無関係であると想定しています。
実際の存在状態では、テールクラスのサンプルが頭として誤ってラベル付けされる可能性が高く、元の不均衡の程度を悪化させる可能性が高いことがわかります。
この現象を「尾から頭（T2H）」と呼びます。
T2Hノイズは、ヘッドクラスを汚染し、モデルにテールサンプルをヘッドとして学習するように強制することにより、モデルのパフォーマンスを大幅に分解します。
この課題に対処するために、NOSIYラベルの動的な誤解を招くプロセスを調査し、長期にわたるラベルノイズのようなデータ（鈍い）の解きと学習と呼ばれる新しい方法を提案します。
最初に、内部の栄養障害（ifd）を使用して、内部的に特徴を解くことを採用します。
これに基づいて、内部のfeature部分学習（IFPU）を適用して、間違ったクラスに相関する誤った特徴領域を弱めて解き放ちます。
この方法は、モデルがノイズの多いラベルに惑わされるのを防ぎ、モデルのノイズに対する堅牢性を高めます。
制御された実験環境を提供するために、T2Hノイズをシミュレートするための新しいノイズ追加アルゴリズムをさらに提案します。
シミュレートされたデータセットと実際のデータセットの両方での広範な実験は、提案された方法の有効性を示しています。

要約(オリジナル)

In real-world datasets, the challenges of long-tailed distributions and noisy labels often coexist, posing obstacles to the model training and performance. Existing studies on long-tailed noisy label learning (LTNLL) typically assume that the generation of noisy labels is independent of the long-tailed distribution, which may not be true from a practical perspective. In real-world situaiton, we observe that the tail class samples are more likely to be mislabeled as head, exacerbating the original degree of imbalance. We call this phenomenon as “tail-to-head (T2H)” noise. T2H noise severely degrades model performance by polluting the head classes and forcing the model to learn the tail samples as head. To address this challenge, we investigate the dynamic misleading process of the nosiy labels and propose a novel method called Disentangling and Unlearning for Long-tailed and Label-noisy data (DULL). It first employs the Inner-Feature Disentangling (IFD) to disentangle feature internally. Based on this, the Inner-Feature Partial Unlearning (IFPU) is then applied to weaken and unlearn incorrect feature regions correlated to wrong classes. This method prevents the model from being misled by noisy labels, enhancing the model’s robustness against noise. To provide a controlled experimental environment, we further propose a new noise addition algorithm to simulate T2H noise. Extensive experiments on both simulated and real-world datasets demonstrate the effectiveness of our proposed method.

arxiv情報

著者 Chen Shu,Mengke Li,Yiqun Zhang,Yang Lu,Bo Han,Yiu-ming Cheung,Hanzi Wang
発行日 2025-03-14 13:58:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Classifying Long-tailed and Label-noise Data via Disentangling and Unlearning はコメントを受け付けていません

FlowKac: An Efficient Neural Fokker-Planck solver using Temporal Normalizing flows and the Feynman Kac-Formula

投稿日: 2025年3月17日 作成者: jarxiv

要約

高次元の複雑な動的システムのFokker-Planck方程式を解決することは、分析ソリューションの扱いやすさと従来の数値的手法の制限により、極めて重要でありながら挑戦的な作業のままです。
この作業では、Fokker-Planck方程式をFeynman-KAC式を使用して再フォーマルする新しいアプローチであるFlowKacを提示し、確率的経路の期待値を介して特定のポイントでソリューションを照会することができます。
FlowKacの重要な革新は、高精度を維持しながら計算の複雑さを大幅に削減する適応的確率的サンプリングスキームにあります。
このサンプリング手法は、時間を進化させる確率密度をキャプチャするために設計された時間インデックスの正規化フローと相まって、コロケーションポイントの堅牢なサンプリングを可能にし、柔軟でメッシュフリーのソルバーをもたらします。
この定式化は、次元の呪いを軽減し、計算効率と精度を向上させます。これは、従来の3を超えた寸法を本質的に必要とするアプリケーションにとって特に重要です。
さまざまな確率的微分方程式に関するさまざまな実験を通じて、方法の堅牢性とスケーラビリティを検証し、既存の技術よりも大幅な改善を示しています。

要約(オリジナル)

Solving the Fokker-Planck equation for high-dimensional complex dynamical systems remains a pivotal yet challenging task due to the intractability of analytical solutions and the limitations of traditional numerical methods. In this work, we present FlowKac, a novel approach that reformulates the Fokker-Planck equation using the Feynman-Kac formula, allowing to query the solution at a given point via the expected values of stochastic paths. A key innovation of FlowKac lies in its adaptive stochastic sampling scheme which significantly reduces the computational complexity while maintaining high accuracy. This sampling technique, coupled with a time-indexed normalizing flow, designed for capturing time-evolving probability densities, enables robust sampling of collocation points, resulting in a flexible and mesh-free solver. This formulation mitigates the curse of dimensionality and enhances computational efficiency and accuracy, which is particularly crucial for applications that inherently require dimensions beyond the conventional three. We validate the robustness and scalability of our method through various experiments on a range of stochastic differential equations, demonstrating significant improvements over existing techniques.

arxiv情報

著者 Naoufal El Bekri,Lucas Drumetz,Franck Vermet
発行日 2025-03-14 14:14:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.DS, stat.ML | FlowKac: An Efficient Neural Fokker-Planck solver using Temporal Normalizing flows and the Feynman Kac-Formula はコメントを受け付けていません

D3: Diversity, Difficulty, and Dependability-Aware Data Selection for Sample-Efficient LLM Instruction Tuning

投稿日: 2025年3月17日 作成者: jarxiv

要約

大規模な言語モデル（LLMS）の命令調整における最近の進歩は、小規模で高品質のデータセットがLLMSに命令検討機能を大幅に装備できることを示唆しており、多くの場合、品質と冗長性の問題に負担をかける大きなデータセットを上回っています。
ただし、この課題は、大規模なデータセットから貴重なサブセットを自動的に識別して、命令チューニングの有効性と効率性の両方を高めることにあります。
この論文では、最初に、多様性、難易度、および信頼性の3つの異なる側面に基づいてデータ選択基準を確立し、次にスコアリングと選択の2つの重要なステップで構成されるD3メソッドを提案します。
具体的には、スコアリングステップでは、サンプルの識別性を測定する多様性関数を定義し、コンテキスト指向の生成多様性の干渉を軽減することにより、サンプルの難易度を評価するための不確実性ベースの予測難易度を導入します。
さらに、信頼性評価のために外部LLMを統合します。
選択ステップでは、D3加重コアセット目標を策定します。これは、最も価値のあるサブセットを解くためにデータ値の3つの側面を共同で最適化します。
D3の2つのステップは、複数のラウンドを反復することができ、フィードバックを組み込んで選択焦点を適応的に改善します。
3つのデータセットでの実験は、データセット全体の10％未満を使用して、競争力のあるまたは優れた指導に従う機能を備えたLLMSを授与する際のD3の有効性を示しています。

要約(オリジナル)

Recent advancements in instruction tuning for large language models (LLMs) suggest that a small, high-quality dataset can significantly equip LLMs with instruction-following capabilities, outperforming large datasets often burdened by quality and redundancy issues. However, the challenge lies in automatically identifying valuable subsets from large datasets to boost both the effectiveness and efficiency of instruction tuning. In this paper, we first establish data selection criteria based on three distinct aspects of data value: diversity, difficulty, and dependability, and then propose the D3 method comprising two key steps of scoring and selection. Specifically, in the scoring step, we define the diversity function to measure sample distinctiveness and introduce the uncertainty-based prediction difficulty to evaluate sample difficulty by mitigating the interference of context-oriented generation diversity. Additionally, we integrate an external LLM for dependability assessment. In the selection step, we formulate the D3 weighted coreset objective, which jointly optimizes three aspects of data value to solve for the most valuable subset. The two steps of D3 can iterate multiple rounds, incorporating feedback to refine the selection focus adaptively. Experiments on three datasets demonstrate the effectiveness of D3 in endowing LLMs with competitive or even superior instruction-following capabilities using less than 10% of the entire dataset.

arxiv情報

著者 Jia Zhang,Chen-Xi Zhang,Yao Liu,Yi-Xuan Jin,Xiao-Wen Yang,Bo Zheng,Yi Liu,Lan-Zhe Guo
発行日 2025-03-14 14:28:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | D3: Diversity, Difficulty, and Dependability-Aware Data Selection for Sample-Efficient LLM Instruction Tuning はコメントを受け付けていません

Learning Minimal Neural Specifications

投稿日: 2025年3月17日 作成者: jarxiv

要約

正式な検証は、システムの仕様と同じくらい良いものであり、ニューラルネットワーク検証にも当てはまります。
既存の仕様は、データのパラダイムに従って、参照データポイント周辺の地元の近隣が正しいか堅牢であると見なされます。
これらの仕様は、モデルの堅牢性を評価するための公正なテストベッドを提供しますが、目に見えないテストデータポイントを検証するには制限が強すぎます。これは、実世界の重要な意味を持つ挑戦的なタスクです。
最近の研究は、この目的のために神経活性化パターン（NAP）を使用する新しいパラダイム、神経表現としての神経表現を通して大きな期待を示しています。
ただし、多くの冗長ニューロンを含む最も洗練された昼寝を計算します。
この論文では、次の問題を検討します。ニューラルネットワークを考慮して、その堅牢性の特性の正式な検証に十分な最小限の（一般的な）NAP仕様を見つけます。
最小限のNAP仕様を見つけると、検証可能な境界が拡大するだけでなく、ニューロンのセットがモデルの堅牢性に貢献する洞察も提供します。
この問題に対処するために、保守的、統計的、楽観的な3つのアプローチを提案します。
これらの各方法は、最小性と計算速度の点で明確な強みとトレードオフを提供するため、優先順位が異なるシナリオに適しています。
特に、楽観的なアプローチは、ニューロン間の潜在的な因果関係を調べることができ、検証ツールに依存することなく、大規模な視覚ニューラルネットワークの堅牢性を調べることができます。
私たちの実験では、最小限のNAP仕様は、検証可能な境界を数桁拡大しながら、以前の研究のニューロンよりもはるかに少ないニューロンを使用することを示しています。

要約(オリジナル)

Formal verification is only as good as the specification of a system, which is also true for neural network verification. Existing specifications follow the paradigm of data as specification, where the local neighborhood around a reference data point is considered correct or robust. While these specifications provide a fair testbed for assessing model robustness, they are too restrictive for verifying any unseen test data points, a challenging task with significant real-world implications. Recent work shows great promise through a new paradigm, neural representation as specification, which uses neural activation patterns (NAPs) for this purpose. However, it computes the most refined NAPs, which include many redundant neurons. In this paper, we study the following problem: Given a neural network, find a minimal (general) NAP specification that is sufficient for formal verification of its robustness properties. Finding the minimal NAP specification not only expands verifiable bounds but also provides insights into which set of neurons contributes to the model’s robustness. To address this problem, we propose three approaches: conservative, statistical, and optimistic. Each of these methods offers distinct strengths and trade-offs in terms of minimality and computational speed, making them suitable for scenarios with different priorities. Notably, the optimistic approach can probe potential causal links between neurons and the robustness of large vision neural networks without relying on verification tools, a task existing methods struggle to scale. Our experiments show that minimal NAP specifications use far fewer neurons than those from previous work while expanding verifiable boundaries by several orders of magnitude.

arxiv情報

著者 Chuqin Geng,Zhaoyue Wang,Haolin Ye,Xujie Si
発行日 2025-03-14 14:34:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.PL | Learning Minimal Neural Specifications はコメントを受け付けていません

Multi-objective Good Arm Identification with Bandit Feedback

投稿日: 2025年3月17日 作成者: jarxiv

要約

マルチオブジェクトを備えた確率的盗賊設定での優れたアーム識別の問題を検討します。各アーム$ i \ in [k] $は、$ \ mathbb {r}^m $で定義された分布$ \ mathcal {d} _i $に関連付けられています。
各ラウンド$ t $について、プレーヤー/アルゴリズムは片方のARM $ i_t $をプルし、$ \ mathcal {d} _ {i_t} $に従ってサンプリングされた$ mensionalベクターフィードバックを受信します。
ターゲットは2倍であり、1つは、定義済みのしきい値$ \ xi_1、\ ldots、\ xi_m $よりも高い片方の腕を見つけています。
サンプルの複雑さが結合したアルゴリズムを提案します。
私たちのバウンドは、$ m = 1 $および$ \ epsilon = 0 $の前の作業で与えられたものと同じであり、$ m> 1 $および$ \ epsilon> 0 $の新しい境界を与えます。
提案されているアルゴリズムは、合成および実際のデータセットの実験の他のベースラインよりも優れた数値性能を達成します。

要約(オリジナル)

We consider a good arm identification problem in a stochastic bandit setting with multi-objectives, where each arm $i\in[K]$ is associated with a distribution $\mathcal{D}_i$ defined over $\mathbb{R}^M$. For each round $t$, the player/algorithm pulls one arm $i_t$ and receives a $M$ dimensional vector feedback sampled according to $\mathcal{D}_{i_t}$. The target is twofold, one is finding one arm whose means are larger than the predefined thresholds $\xi_1,\ldots,\xi_M$ with a confidence bound $\delta$ and an accuracy rate $\epsilon$ with a bounded sample complexity, the other is output $\bot$ to indicate no such arm exists. We propose an algorithm with a sample complexity bound. Our bound is the same as the one given in the previous work when $M=1$ and $\epsilon = 0$, and we give novel bounds for $M > 1$ and $\epsilon > 0$. The proposed algorithm attains better numerical performance than other baselines in the experiments on synthetic and real datasets.

arxiv情報

著者 Xuanke Jiang,Kohei Hatano,Eiji Takimoto
発行日 2025-03-14 14:37:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Multi-objective Good Arm Identification with Bandit Feedback はコメントを受け付けていません

Deep Learning Agents Trained For Avoidance Behave Like Hawks And Doves

投稿日: 2025年3月17日 作成者: jarxiv

要約

簡単な回避ゲームを演奏するディープラーニングエージェントによって表明されたヒューリスティックな最適な戦略を提示します。
対称的なグリッドの世界内の2つのエージェントの学習と動作を分析します。これは、互いにクラッシュしたり、グリッドの世界から間違った方向に迷ったりすることなく、ターゲットの目的地に到達するためにパスを横断しなければなりません。
エージェントポリシーは、両方のエージェントで採用されている1つのニューラルネットワークによって決定されます。
私たちの調査結果は、完全に訓練されたネットワークがゲームホークスや鳩の動作と同様の動作を示すことを示しています。一方のエージェントは攻撃的な戦略を採用してターゲットに到達し、他のエージェントは攻撃的なエージェントを避ける方法を学びます。

要約(オリジナル)

We present heuristically optimal strategies expressed by deep learning agents playing a simple avoidance game. We analyse the learning and behaviour of two agents within a symmetrical grid world that must cross paths to reach a target destination without crashing into each other or straying off of the grid world in the wrong direction. The agent policy is determined by one neural network that is employed in both agents. Our findings indicate that the fully trained network exhibits behaviour similar to that of the game Hawks and Doves, in that one agent employs an aggressive strategy to reach the target while the other learns how to avoid the aggressive agent.

arxiv情報

著者 Aryaman Reddi,Glenn Vinnicombe
発行日 2025-03-14 14:41:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Deep Learning Agents Trained For Avoidance Behave Like Hawks And Doves はコメントを受け付けていません

Tests for model misspecification in simulation-based inference: from local distortions to global model checks

投稿日: 2025年3月17日 作成者: jarxiv

要約

異常検出、モデル検証、モデルの比較などのモデル誤解分析戦略は、科学モデル開発の重要な要素です。
過去数年にわたって、ますます複雑なフォワードモデルに適用されるベイジアンパラメーター推定のために、シミュレーションベースの推論（SBI）手法の使用が急速に増加しています。
ただし、完全にシミュレーションベースの分析パイプラインに向かって移動するには、モデルの誤り分析のための包括的なシミュレーションベースのフレームワークが緊急に必要です。
この作業では、歪み駆動型のモデルの誤りテストを使用して、幅広いモデルの不一致分析タスクのための強固で柔軟な基盤を提供します。
理論的な観点から、シミュレーションモデルの歪みのために多くの仮説テストを実行することを中心に構築された統計フレームワークを紹介します。
また、古典的な手法への明示的な分析接続を作成します：異常検出、モデル検証、および適合性残差分析。
さらに、実践者に役立つ効率的な自己調整トレーニングアルゴリズムを紹介します。
複数のシナリオでフレームワークのパフォーマンスを実証し、それらが有効な場合の古典的な結果とのつながりを実現します。
最後に、特にイベントGW150914で、実際の重力波データのためにこのような歪み駆動型モデルの誤りの誤りテストを実施する方法を示します。

要約(オリジナル)

Model misspecification analysis strategies, such as anomaly detection, model validation, and model comparison are a key component of scientific model development. Over the last few years, there has been a rapid rise in the use of simulation-based inference (SBI) techniques for Bayesian parameter estimation, applied to increasingly complex forward models. To move towards fully simulation-based analysis pipelines, however, there is an urgent need for a comprehensive simulation-based framework for model misspecification analysis. In this work, we provide a solid and flexible foundation for a wide range of model discrepancy analysis tasks, using distortion-driven model misspecification tests. From a theoretical perspective, we introduce the statistical framework built around performing many hypothesis tests for distortions of the simulation model. We also make explicit analytic connections to classical techniques: anomaly detection, model validation, and goodness-of-fit residual analysis. Furthermore, we introduce an efficient self-calibrating training algorithm that is useful for practitioners. We demonstrate the performance of the framework in multiple scenarios, making the connection to classical results where they are valid. Finally, we show how to conduct such a distortion-driven model misspecification test for real gravitational wave data, specifically on the event GW150914.

arxiv情報

著者 Noemi Anau Montel,James Alvey,Christoph Weniger
発行日 2025-03-14 14:47:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: astro-ph.CO, astro-ph.IM, cs.LG, gr-qc | Tests for model misspecification in simulation-based inference: from local distortions to global model checks はコメントを受け付けていません

Make Optimization Once and for All with Fine-grained Guidance

投稿日: 2025年3月17日 作成者: jarxiv

要約

最適化（L2O）を学習することで、統合されたニューラルネットワークを使用して最適化効率が向上します。
L2Oパラダイムは、たとえばオプティマイザーを再補充し、目に見えないソリューションを反復的または直接生成します。
ただし、従来のL2Oメソッドには複雑な設計が必要であり、特定の最適化プロセスに依存して、スケーラビリティと一般化を制限します。
分析では、DIFF-L2Oと呼ばれる学習最適化の一般的なフレームワークを探り、実際の最適化プロセスのみでローカル更新ではなく、より広いビューからサンプリングソリューションを増強することに焦点を当てています。
一方、関連する一般化はバウンドを与え、DIFF-L2Oのサンプルの多様性がより良いパフォーマンスをもたらすことを示しています。
この境界は、他のフィールドに単純に適用することができ、多様性、平均バリケーション、およびさまざまなタスクについて議論することができます。
Diff-L2Oの強力な互換性は、他の時間レベルと比較して、微小レベルのトレーニングのみで経験的に検証されています。

要約(オリジナル)

Learning to Optimize (L2O) enhances optimization efficiency with integrated neural networks. L2O paradigms achieve great outcomes, e.g., refitting optimizer, generating unseen solutions iteratively or directly. However, conventional L2O methods require intricate design and rely on specific optimization processes, limiting scalability and generalization. Our analyses explore general framework for learning optimization, called Diff-L2O, focusing on augmenting sampled solutions from a wider view rather than local updates in real optimization process only. Meanwhile, we give the related generalization bound, showing that the sample diversity of Diff-L2O brings better performance. This bound can be simply applied to other fields, discussing diversity, mean-variance, and different tasks. Diff-L2O’s strong compatibility is empirically verified with only minute-level training, comparing with other hour-levels.

arxiv情報

著者 Mingjia Shi,Ruihan Lin,Xuxi Chen,Yuhao Zhou,Zezhen Ding,Pingzhi Li,Tong Wang,Kai Wang,Zhangyang Wang,Jiheng Zhang,Tianlong Chen
発行日 2025-03-14 14:48:12+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 68Q32, cs.LG, I.2 | Make Optimization Once and for All with Fine-grained Guidance はコメントを受け付けていません

In Shift and In Variance: Assessing the Robustness of HAR Deep Learning Models against Variability

投稿日: 2025年3月17日 作成者: jarxiv

要約

ウェアラブル慣性測定ユニット（IMU）センサーを使用した人間の活動認識（HAR）は、継続的な健康監視、疾患予測、および日常的な認識を可能にすることにより、ヘルスケアに革命をもたらすことができます。
深い学習（DL）HARモデルの高精度にもかかわらず、実世界の変動に対する堅牢性は、主に限られたラボに環境に包まれたデータで訓練およびテストされているため、テストされていないままです。
この研究では、被験者、デバイス、位置、および方向の変動を分離して、DL HARモデルへの影響を判断し、実際の条件でのこれらのモデルの堅牢性を評価します。
HARVARおよびREALDISPデータセットを使用してDL HARモデルを評価し、データ分布のシフトとモデルパフォーマンスの変化に対する変動の影響に関する包括的な議論を提供しました。
私たちの実験では、最大平均不一致（MMD）を使用したデータ分布のシフトを測定し、変動性によりDLモデルのパフォーマンス低下が観察されました。
研究されたばらつきがDL HARモデルに異なる影響を与えることに同意し、データ分布のシフトとモデルのパフォーマンスの間に逆の関係があることに同意します。
変動性の複利効果を分析し、実際のシナリオにおける変動の意味が強調されました。
MMDは、データ分布シフトを計算するための効果的なメトリックであることを証明し、HarvarおよびRealdispデータセットの変動によりパフォーマンスの低下を説明しました。
変動性の理解とその効果の評価を組み合わせることで、より堅牢なDL HARモデルと最適なトレーニング技術の開発が促進されます。
将来のモデルを最大F1スコアだけでなく、効果的に一般化する能力にも基づいて評価できるようにする

要約(オリジナル)

Human Activity Recognition (HAR) using wearable inertial measurement unit (IMU) sensors can revolutionize healthcare by enabling continual health monitoring, disease prediction, and routine recognition. Despite the high accuracy of Deep Learning (DL) HAR models, their robustness to real-world variabilities remains untested, as they have primarily been trained and tested on limited lab-confined data. In this study, we isolate subject, device, position, and orientation variability to determine their effect on DL HAR models and assess the robustness of these models in real-world conditions. We evaluated the DL HAR models using the HARVAR and REALDISP datasets, providing a comprehensive discussion on the impact of variability on data distribution shifts and changes in model performance. Our experiments measured shifts in data distribution using Maximum Mean Discrepancy (MMD) and observed DL model performance drops due to variability. We concur that studied variabilities affect DL HAR models differently, and there is an inverse relationship between data distribution shifts and model performance. The compounding effect of variability was analyzed, and the implications of variabilities in real-world scenarios were highlighted. MMD proved an effective metric for calculating data distribution shifts and explained the drop in performance due to variabilities in HARVAR and REALDISP datasets. Combining our understanding of variability with evaluating its effects will facilitate the development of more robust DL HAR models and optimal training techniques. Allowing Future models to not only be assessed based on their maximum F1 score but also on their ability to generalize effectively

arxiv情報

著者 Azhar Ali Khaked,Nobuyuki Oishi,Daniel Roggen,Paula Lago
発行日 2025-03-14 14:53:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.LG, eess.SP | In Shift and In Variance: Assessing the Robustness of HAR Deep Learning Models against Variability はコメントを受け付けていません