Task-Parameter Nexus: Task-Specific Parameter Learning for Model-Based Control

投稿日: 2025年4月10日 作成者: jarxiv

要約

このペーパーでは、タスクを追跡するためのモデルベースのコントローラー（MBC）の（近く）最適な制御パラメーターのオンライン決定のための学習ベースのアプローチであるタスクパラメーターNexus（TPN）を紹介します。
TPNでは、特に新しいタスクの最適なパラメーターがすぐに利用できない場合、実行時に特定の追跡タスクの制御パラメーターを予測するために、深いニューラルネットワークが導入されています。
このネットワークをトレーニングするために、さまざまなモーション特性を表すさまざまな速度と曲率を持つ軌跡銀行を建設しました。
次に、銀行の各軌道について、オフラインで最適な制御パラメーターを自動調整し、それらを対応するグラウンドトゥルースとして使用します。
このデータセットを使用すると、TPNは監視された学習によってトレーニングされます。
QuadrotorプラットフォームでTPNを評価しました。
シミュレーション実験では、TPNが一連の追跡タスクの最適に近い制御パラメーターを予測し、目に見えないタスクに対する堅牢な一般化機能を実証できることが示されています。

要約(オリジナル)

This paper presents the Task-Parameter Nexus (TPN), a learning-based approach for online determination of the (near-)optimal control parameters of model-based controllers (MBCs) for tracking tasks. In TPN, a deep neural network is introduced to predict the control parameters for any given tracking task at runtime, especially when optimal parameters for new tasks are not immediately available. To train this network, we constructed a trajectory bank with various speeds and curvatures that represent different motion characteristics. Then, for each trajectory in the bank, we auto-tune the optimal control parameters offline and use them as the corresponding ground truth. With this dataset, the TPN is trained by supervised learning. We evaluated the TPN on the quadrotor platform. In simulation experiments, it is shown that the TPN can predict near-optimal control parameters for a spectrum of tracking tasks, demonstrating its robust generalization capabilities to unseen tasks.

arxiv情報

著者 Sheng Cheng,Ran Tao,Yuliang Gu,Shenlong Wang,Xiaofeng Wang,Naira Hovakimyan
発行日 2025-04-09 16:54:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.RO, cs.SY, eess.SY | Task-Parameter Nexus: Task-Specific Parameter Learning for Model-Based Control はコメントを受け付けていません

The Importance of Being Discrete: Measuring the Impact of Discretization in End-to-End Differentially Private Synthetic Data

投稿日: 2025年4月10日 作成者: jarxiv

要約

差次的にプライベートな（DP）生成限界モデルは、野生でよく使用され、正式なプライバシー保証を提供しながら、機密データの代わりに合成表形式データセットを放出します。
これらのモデルは、低次元の限界またはクエリワークロードを近似しています。
重要なことに、彼らはトレーニングデータを事前に議論する必要があります。つまり、まずビンに分割する必要があります。
ただし、値（またはそのドメイン）の範囲はトレーニングデータから直接推測されることが多く、ビンとビンのエッジの数は通常任意に定義されているため、このアプローチは最終的にエンドツーエンドのDP保証を破壊する可能性があり、常に最適なユーティリティを生成するとは限りません。
この論文では、DPの限界生成モデルのコンテキストで4つの離散化戦略の広範な測定研究を提示します。
より正確には、3つの離散剤（均一、分位、k-means）のDPバージョンを設計し、Privtreeアルゴリズムを再実装します。
離散剤とビンカウントの選択を最適化すると、デフォルトの戦略とビンの数と比較して、平均して6つのDPの限界モデルで平均30％を改善できることがわかります。
非プライベート離散化を伴うDP生成モデルは、メンバーシップ推論攻撃に対して脆弱なままである一方で、離散化中にDPを適用するとこのリスクを効果的に緩和することを実証します。
最後に、最適な数のビンを自動的に選択し、プライバシー予算の消費と計算オーバーヘッドの両方を削減しながら高いユーティリティを実現するための最適化されたアプローチを提案します。

要約(オリジナル)

Differentially Private (DP) generative marginal models are often used in the wild to release synthetic tabular datasets in lieu of sensitive data while providing formal privacy guarantees. These models approximate low-dimensional marginals or query workloads; crucially, they require the training data to be pre-discretized, i.e., continuous values need to first be partitioned into bins. However, as the range of values (or their domain) is often inferred directly from the training data, with the number of bins and bin edges typically defined arbitrarily, this approach can ultimately break end-to-end DP guarantees and may not always yield optimal utility. In this paper, we present an extensive measurement study of four discretization strategies in the context of DP marginal generative models. More precisely, we design DP versions of three discretizers (uniform, quantile, and k-means) and reimplement the PrivTree algorithm. We find that optimizing both the choice of discretizer and bin count can improve utility, on average, by almost 30% across six DP marginal models, compared to the default strategy and number of bins, with PrivTree being the best-performing discretizer in the majority of cases. We demonstrate that, while DP generative models with non-private discretization remain vulnerable to membership inference attacks, applying DP during discretization effectively mitigates this risk. Finally, we propose an optimized approach for automatically selecting the optimal number of bins, achieving high utility while reducing both privacy budget consumption and computational overhead.

arxiv情報

著者 Georgi Ganev,Meenatchi Sundaram Muthu Selva Annamalai,Sofiane Mahiou,Emiliano De Cristofaro
発行日 2025-04-09 14:30:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | The Importance of Being Discrete: Measuring the Impact of Discretization in End-to-End Differentially Private Synthetic Data はコメントを受け付けていません

RO-FIGS: Efficient and Expressive Tree-Based Ensembles for Tabular Data

投稿日: 2025年4月10日 作成者: jarxiv

要約

ツリーベースのモデルは、多くの場合、情報のない機能に対して堅牢であり、非滑らかで複雑な決定境界を正確にキャプチャできます。
その結果、彼らはしばしば、大幅に低い計算コストで表形式のデータセット上のニューラルネットワークベースのモデルを上回ります。
それにもかかわらず、従来の樹木ベースのアンサンブルが複雑な関係を効率的に表現する能力は、単一の機能を使用して分割を行うことにより制限されます。
樹木ベースの方法の効率と表現力を向上させるために、ランダムな斜めの高速解釈可能な貪欲なツリー合計（RO-FIG）を提案します。
Ro-Figsは、高速解釈可能な貪欲な木合計に基づいて構築され、斜めまたは多変量スプリットで木を学習することで拡張します。各分割は、特徴のランダムサブセットから学習した線形の組み合わせで構成されます。
これにより、機能間の相互作用を明らかにし、パフォーマンスを向上させるのに役立ちます。
提案された方法は、数値的特徴とカテゴリ機能の両方を備えた表形式データセットに適しています。
22の実世界の表形式データセットでRO-FIGを評価し、他のツリーおよびニューラルネットワークベースの方法よりも優れたパフォーマンスとはるかに小さなモデルを実証します。
さらに、それらの分割を分析して、特徴の相互作用に関する貴重な洞察を明らかにし、SHAPサマリープロットから学んだ情報を豊かにし、それによってRO-FIGSモデルの解釈可能性の向上を実証します。
提案された方法は、精度と解釈可能性のバランスが不可欠なアプリケーションに適しています。

要約(オリジナル)

Tree-based models are often robust to uninformative features and can accurately capture non-smooth, complex decision boundaries. Consequently, they often outperform neural network-based models on tabular datasets at a significantly lower computational cost. Nevertheless, the capability of traditional tree-based ensembles to express complex relationships efficiently is limited by using a single feature to make splits. To improve the efficiency and expressiveness of tree-based methods, we propose Random Oblique Fast Interpretable Greedy-Tree Sums (RO-FIGS). RO-FIGS builds on Fast Interpretable Greedy-Tree Sums, and extends it by learning trees with oblique or multivariate splits, where each split consists of a linear combination learnt from random subsets of features. This helps uncover interactions between features and improves performance. The proposed method is suitable for tabular datasets with both numerical and categorical features. We evaluate RO-FIGS on 22 real-world tabular datasets, demonstrating superior performance and much smaller models over other tree- and neural network-based methods. Additionally, we analyse their splits to reveal valuable insights into feature interactions, enriching the information learnt from SHAP summary plots, and thereby demonstrating the enhanced interpretability of RO-FIGS models. The proposed method is well-suited for applications, where balance between accuracy and interpretability is essential.

arxiv情報

著者 Urška Matjašec,Nikola Simidjievski,Mateja Jamnik
発行日 2025-04-09 14:35:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | RO-FIGS: Efficient and Expressive Tree-Based Ensembles for Tabular Data はコメントを受け付けていません

ASRL:A robust loss function with potential for development

投稿日: 2025年4月10日 作成者: jarxiv

要約

この記事では、以前の堅牢な損失関数に基づいて、パーティション：賢明な堅牢な損失関数を提案しました。
この損失関数の特徴は、パーティションごとの設計と適応パラメーター調整により、高い堅牢性と幅広い適用性を達成することです。
最後に、この損失関数の利点と開発の可能性は、この損失関数を回帰質問に適用し、5つの異なるデータセット（異なる寸法、異なるサンプル数、異なるフィールド）を使用して、他の損失関数と比較することにより検証されました。
複数の実験の結果は、損失関数の利点を証明しています。

要約(オリジナル)

In this article, we proposed a partition:wise robust loss function based on the previous robust loss function. The characteristics of this loss function are that it achieves high robustness and a wide range of applicability through partition-wise design and adaptive parameter adjustment. Finally, the advantages and development potential of this loss function were verified by applying this loss function to the regression question and using five different datasets (with different dimensions, different sample numbers, and different fields) to compare with the other loss functions. The results of multiple experiments have proven the advantages of our loss function .

arxiv情報

著者 Chenyu Hui,Anran Zhang,Xintong Li
発行日 2025-04-09 14:40:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | ASRL:A robust loss function with potential for development はコメントを受け付けていません

A Survey of Source Code Representations for Machine Learning-Based Cybersecurity Tasks

投稿日: 2025年4月10日 作成者: jarxiv

要約

サイバーセキュリティ関連のソフトウェアエンジニアリングタスクの機械学習技術は、ますます人気が高まっています。
ソースコードの表現は、モデルがソースコードの機能を学習する方法に影響を与える可能性のある手法の重要な部分です。
これらの手法の数が増えているため、現場の現在の状態を確認することは、何が存在し、何が存在していないかをよりよく理解することができます。
この記事では、これらの既存の機械学習ベースのアプローチの研究を紹介し、さまざまなサイバーセキュリティタスクとプログラミング言語に使用されている表現の種類を示します。
さらに、さまざまな表現で使用されるモデルの種類を調べます。
グラフベースの表現は表現の最も一般的なカテゴリーであり、トークン剤と抽象的な構文ツリー（AST）が全体的に2つの最も一般的な表現であることがわかりました（たとえば、ASTとトークンザーは、紙の最高のカウントを持つ表現ですが、グラフベースの表現は紙の最高のカテゴリを持つカテゴリです）。
また、最も人気のあるサイバーセキュリティタスクは脆弱性検出であり、最も多くのテクニックでカバーされている言語はCであることがわかりました。最後に、シーケンスベースのモデルはモデルの最も人気のあるカテゴリであり、サポートベクトルマシンが全体的に最も人気のあるモデルであることがわかりました。

要約(オリジナル)

Machine learning techniques for cybersecurity-related software engineering tasks are becoming increasingly popular. The representation of source code is a key portion of the technique that can impact the way the model is able to learn the features of the source code. With an increasing number of these techniques being developed, it is valuable to see the current state of the field to better understand what exists and what is not there yet. This article presents a study of these existing machine learning based approaches and demonstrates what type of representations were used for different cybersecurity tasks and programming languages. Additionally, we study what types of models are used with different representations. We have found that graph-based representations are the most popular category of representation, and tokenizers and Abstract Syntax Trees (ASTs) are the two most popular representations overall (e.g., AST and tokenizers are the representations with the highest count of papers, whereas graph-based representations is the category with the highest count of papers). We also found that the most popular cybersecurity task is vulnerability detection, and the language that is covered by the most techniques is C. Finally, we found that sequence-based models are the most popular category of models, and Support Vector Machines are the most popular model overall.

arxiv情報

著者 Beatrice Casey,Joanna C. S. Santos,George Perry
発行日 2025-04-09 15:06:35+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | A Survey of Source Code Representations for Machine Learning-Based Cybersecurity Tasks はコメントを受け付けていません

FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion

投稿日: 2025年4月10日 作成者: jarxiv

要約

重要な分野の機械学習モデルは、マルチモーダルデータとますます取り組んでいるため、幅広いモダリティを処理するという二重の課題に直面しています。多くの場合、要素が欠落しているため不完全であり、収集されたサンプルの時間的不規則性とスパース性に直面しています。
高品質のトレーニングサンプルの希少性を克服しながら、この複雑なデータをうまく活用することは、これらのモデルの予測パフォーマンスを改善するための鍵です。
革新的なゲーティング機能に組み込まれたExpertsの混合フレームワークである「Fusemoe」 ‘を紹介します。
多様な数のモダリティを統合するように設計されたFusemoeは、モダリティが欠落し、不規則にサンプリングされたデータの軌跡を備えたシナリオの管理に効果的です。
理論的には、私たちのユニークなゲーティング機能は、収束速度の向上に貢献し、複数のダウンストリームタスクのパフォーマンスが向上します。
現実の世界におけるフューセモエの実用的な有用性は、多様な一連の挑戦的な予測タスクによって検証されています。

要約(オリジナル)

As machine learning models in critical fields increasingly grapple with multimodal data, they face the dual challenges of handling a wide array of modalities, often incomplete due to missing elements, and the temporal irregularity and sparsity of collected samples. Successfully leveraging this complex data, while overcoming the scarcity of high-quality training samples, is key to improving these models’ predictive performance. We introduce “FuseMoE”, a mixture-of-experts framework incorporated with an innovative gating function. Designed to integrate a diverse number of modalities, FuseMoE is effective in managing scenarios with missing modalities and irregularly sampled data trajectories. Theoretically, our unique gating function contributes to enhanced convergence rates, leading to better performance in multiple downstream tasks. The practical utility of FuseMoE in the real world is validated by a diverse set of challenging prediction tasks.

arxiv情報

著者 Xing Han,Huy Nguyen,Carl Harris,Nhat Ho,Suchi Saria
発行日 2025-04-09 15:12:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion はコメントを受け付けていません

Scalable Geometric Learning with Correlation-Based Functional Brain Networks

投稿日: 2025年4月10日 作成者: jarxiv

要約

相関マトリックスは、ニューロイメージングにおける機能的脳ネットワークの中心的な表現です。
従来の分析は、多くの場合、ユークリッドの環境で独立してペアワイズ相互作用を扱い、相関マトリックスの固有のジオメトリを見落としています。
以前の試みは相関マニホールドの商のジオメトリを受け入れてきましたが、特に高次元のコンテキストでは、計算の非効率性と数値の不安定性によって制限されたままです。
このホワイトペーパーでは、相関マトリックスをユークリッド空間に埋め込み、顕著なマニホールド特性を維持し、大規模な分析を可能にするために、違いの変換を使用する新しい幾何学的フレームワークを紹介します。
提案された方法は、確立された学習アルゴリズム（回帰、次元低下、クラスタリング）と統合され、脳ネットワークの人口レベルの推論に自然に拡張されます。
シミュレーション研究は、従来のマニホールドベースのアプローチと比較して、計算速度の向上と精度の向上の両方を示しています。
さらに、実際のニューロイメージングシナリオでのアプリケーションは、フレームワークの有用性を示し、行動スコアの予測を強化し、静止状態のfMRIでの被験者の指紋、および脳波データでの仮説テストを示しています。
幅広い採用を促進し、機能的な脳ネットワーク研究における相関ジオメトリの適用を進めるために、オープンソースMATLABツールボックスが提供されています。

要約(オリジナル)

The correlation matrix is a central representation of functional brain networks in neuroimaging. Traditional analyses often treat pairwise interactions independently in a Euclidean setting, overlooking the intrinsic geometry of correlation matrices. While earlier attempts have embraced the quotient geometry of the correlation manifold, they remain limited by computational inefficiency and numerical instability, particularly in high-dimensional contexts. This paper presents a novel geometric framework that employs diffeomorphic transformations to embed correlation matrices into a Euclidean space, preserving salient manifold properties and enabling large-scale analyses. The proposed method integrates with established learning algorithms – regression, dimensionality reduction, and clustering – and extends naturally to population-level inference of brain networks. Simulation studies demonstrate both improved computational speed and enhanced accuracy compared to conventional manifold-based approaches. Moreover, applications in real neuroimaging scenarios illustrate the framework’s utility, enhancing behavior score prediction, subject fingerprinting in resting-state fMRI, and hypothesis testing in electroencephalogram data. An open-source MATLAB toolbox is provided to facilitate broader adoption and advance the application of correlation geometry in functional brain network research.

arxiv情報

著者 Kisung You,Yelim Lee,Hae-Jeong Park
発行日 2025-04-09 15:14:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Scalable Geometric Learning with Correlation-Based Functional Brain Networks はコメントを受け付けていません

Artificial Intelligence for Pediatric Height Prediction Using Large-Scale Longitudinal Body Composition Data

投稿日: 2025年4月10日 作成者: jarxiv

要約

この研究は、GPコホート研究の人体測定および体組成データを使用して、小児および青年の将来の身長を予測するための正確な人工知能モデルを開発しました（7〜18歳の96,485人の子供からの588,546測定）。
このモデルには、人体測定、体組成、標準偏差スコア、および成長速度パラメーターが組み込まれ、RMSE、MAE、およびMAPEを使用してパフォーマンスが評価されました。
結果は、男性が平均RMSE、MAE、およびMAPEを2.51 cm、1.74 cm、および1.14％に達成し、それぞれ2.28 cm、1.68 cm、および1.13％を示す女性で高い精度を示しました。
説明可能なAIが特定された高さSDS、高さの速度、および重要な予測因子として柔らかいリーン質量速度に近づきます。
このモデルは、個々の特異的な高さの軌跡を推定し、臨床的意思決定サポート、成長障害の早期識別、成長結果の最適化のための堅牢なツールを提供することにより、パーソナライズされた成長曲線を生成しました。

要約(オリジナル)

This study developed an accurate artificial intelligence model for predicting future height in children and adolescents using anthropometric and body composition data from the GP Cohort Study (588,546 measurements from 96,485 children aged 7-18). The model incorporated anthropometric measures, body composition, standard deviation scores, and growth velocity parameters, with performance evaluated using RMSE, MAE, and MAPE. Results showed high accuracy with males achieving average RMSE, MAE, and MAPE of 2.51 cm, 1.74 cm, and 1.14%, and females showing 2.28 cm, 1.68 cm, and 1.13%, respectively. Explainable AI approaches identified height SDS, height velocity, and soft lean mass velocity as crucial predictors. The model generated personalized growth curves by estimating individual-specific height trajectories, offering a robust tool for clinical decision support, early identification of growth disorders, and optimization of growth outcomes.

arxiv情報

著者 Dohyun Chun,Hae Woon Jung,Jongho Kang,Woo Young Jang,Jihun Kim
発行日 2025-04-09 15:32:15+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 62P10, 68T05, cs.LG, q-bio.QM | Artificial Intelligence for Pediatric Height Prediction Using Large-Scale Longitudinal Body Composition Data はコメントを受け付けていません

Free Random Projection for In-Context Reinforcement Learning

投稿日: 2025年4月10日 作成者: jarxiv

要約

明示的な双曲線潜在表現とアーキテクチャによって示されるように、階層的な帰納的バイアスは、補強学習における一般化可能な政策を促進すると仮定されています。
したがって、より柔軟なアプローチは、これらのバイアスをアルゴリズムから自然に出現させることです。
階層構造が本質的に生じるランダムな直交行列を構築する自由確率理論に基づいた入力マッピングである自由ランダム投影を導入します。
自由なランダム投影は、明示的なアーキテクチャの変更を必要とせずに入力空間内で階層組織をエンコードすることにより、既存のコンテキスト内強化学習フレームワークにシームレスに統合します。
マルチ環境ベンチマークの経験的結果は、自由なランダム投影が標準のランダム投影を一貫して上回り、一般化の改善につながることを示しています。
さらに、線形溶媒和マルコフ決定プロセス内の分析と、カーネルランダムマトリックスのスペクトルの調査により、自由ランダム投影の強化されたパフォーマンスの理論的基盤が明らかになり、階層的に構造化された状態空間での効果的な適応能力が強調されています。

要約(オリジナル)

Hierarchical inductive biases are hypothesized to promote generalizable policies in reinforcement learning, as demonstrated by explicit hyperbolic latent representations and architectures. Therefore, a more flexible approach is to have these biases emerge naturally from the algorithm. We introduce Free Random Projection, an input mapping grounded in free probability theory that constructs random orthogonal matrices where hierarchical structure arises inherently. The free random projection integrates seamlessly into existing in-context reinforcement learning frameworks by encoding hierarchical organization within the input space without requiring explicit architectural modifications. Empirical results on multi-environment benchmarks show that free random projection consistently outperforms the standard random projection, leading to improvements in generalization. Furthermore, analyses within linearly solvable Markov decision processes and investigations of the spectrum of kernel random matrices reveal the theoretical underpinnings of free random projection’s enhanced performance, highlighting its capacity for effective adaptation in hierarchically structured state spaces.

arxiv情報

著者 Tomohiro Hayase,Benoît Collins,Nakamasa Inoue
発行日 2025-04-09 15:38:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.PR, stat.ML | Free Random Projection for In-Context Reinforcement Learning はコメントを受け付けていません

Dissimilar Batch Decompositions of Random Datasets

投稿日: 2025年4月10日 作成者: jarxiv

要約

より良い学習のために、大きなデータセットは多くの場合、小さなバッチに分割され、予測モデルに連続的に供給されます。
この論文では、このようなバッチ分解を確率的な観点から研究します。
データポイント（おそらく破損している可能性がある）は、特定のスペースから独立して描画され、2つのデータポイント間の類似性の概念を定義すると仮定します。
次に、各バッチ内の類似性の量を制限し、最小サイズの高い確率境界を取得する分解を検討します。
類似性の制約と全体のサイズを緩和することとの固有のトレードオフを示し、Martingaleメソッドを使用して、特定の類似性を持つデータサブセットの最大サイズの境界を取得します。

要約(オリジナル)

For better learning, large datasets are often split into small batches and fed sequentially to the predictive model. In this paper, we study such batch decompositions from a probabilistic perspective. We assume that data points (possibly corrupted) are drawn independently from a given space and define a concept of similarity between two data points. We then consider decompositions that restrict the amount of similarity within each batch and obtain high probability bounds for the minimum size. We demonstrate an inherent tradeoff between relaxing the similarity constraint and the overall size and also use martingale methods to obtain bounds for the maximum size of data subsets with a given similarity.

arxiv情報

著者 Ghurumuruhan Ganesan
発行日 2025-04-09 15:58:06+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.PR, stat.ML | Dissimilar Batch Decompositions of Random Datasets はコメントを受け付けていません