3D Neural Operator-Based Flow Surrogates around 3D geometries: Signed Distance Functions and Derivative Constraints

投稿日: 2025年3月24日 作成者: jarxiv

要約

複雑な形状の周りの流体ダイナミクスの正確なモデリングは、空力最適化や生物医学デバイスの設計などのアプリケーションにとって重要です。
数値的手法と高性能コンピューティングの進歩により、シミュレーション機能が改善されましたが、高忠実度の3Dフローシミュレーションの計算コストは​​依然として重要な課題です。
Scientific Machine Learning（SCIML）は、効率的な代替品を提供し、迅速で信頼できるフロー予測を可能にします。
この研究では、Deep Operator Networks（DeepOnet）とGeometric-Deeponetを評価します。これは、複雑なオブジェクト上の定常状態の3Dフローで、署名距離関数（SDF）を介してジオメトリ情報を組み込んだバリアントです。
データセットは、10〜1,000のレイノルズ数にまたがる1,000の高忠実度シミュレーションで構成されており、さまざまなフローレジームで包括的なトレーニングと評価を可能にします。
モデルの一般化を評価するために、モデルをランダムで外挿での列車テストの分割でテストします。
さらに、速度勾配のペナルティと非圧縮性の制約を備えた標準損失関数を強化し、3Dフロー予測の物理的一貫性を改善するデリバティブ情報に基づいたトレーニング戦略を調査します。
我々の結果は、幾何学的なディープネットが標準のディープネットと比較して境界層の精度を最大32％向上させることを示しています。
さらに、微分制約を組み込むことで、補間タスクで勾配精度が25％、外ポーテルテストシナリオで最大45％増加し、目に見えない3Dレイノルズ数の一般化能力の大幅な改善が示唆されています。

要約(オリジナル)

Accurate modeling of fluid dynamics around complex geometries is critical for applications such as aerodynamic optimization and biomedical device design. While advancements in numerical methods and high-performance computing have improved simulation capabilities, the computational cost of high-fidelity 3D flow simulations remains a significant challenge. Scientific machine learning (SciML) offers an efficient alternative, enabling rapid and reliable flow predictions. In this study, we evaluate Deep Operator Networks (DeepONet) and Geometric-DeepONet, a variant that incorporates geometry information via signed distance functions (SDFs), on steady-state 3D flow over complex objects. Our dataset consists of 1,000 high-fidelity simulations spanning Reynolds numbers from 10 to 1,000, enabling comprehensive training and evaluation across a range of flow regimes. To assess model generalization, we test our models on a random and extrapolatory train-test splitting. Additionally, we explore a derivative-informed training strategy that augments standard loss functions with velocity gradient penalties and incompressibility constraints, improving physics consistency in 3D flow prediction. Our results show that Geometric-DeepONet improves boundary-layer accuracy by up to 32% compared to standard DeepONet. Moreover, incorporating derivative constraints enhances gradient accuracy by 25% in interpolation tasks and up to 45% in extrapolatory test scenarios, suggesting significant improvement in generalization capabilities to unseen 3D Reynolds numbers.

arxiv情報

著者 Ali Rabeh,Adarsh Krishnamurthy,Baskar Ganapathysubramanian
発行日 2025-03-21 16:40:48+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | 3D Neural Operator-Based Flow Surrogates around 3D geometries: Signed Distance Functions and Derivative Constraints はコメントを受け付けていません

Calibration Strategies for Robust Causal Estimation: Theoretical and Empirical Insights on Propensity Score Based Estimators

投稿日: 2025年3月24日 作成者: jarxiv

要約

推定とキャリブレーションのためのデータのパーティション化は、逆確率重み付け（IPW）や二重/偏見の機械学習（DML）フレームワークなどの傾向スコアベースの推定器のパフォーマンスに重大な影響を与えます。
傾向スコアの推定のためのキャリブレーション技術の最近の進歩を拡大し、限られたオーバーラップ、小さなサンプルサイズ、または不均衡なデータなどの挑戦的な設定で傾向スコアの堅牢性を改善します。
私たちの貢献は2つあります。まず、DMLのコンテキストでの較正された推定器の特性の理論的分析を提供します。
この目的のために、有効な因果推論を確保するためのサンプル分割スキームの役割に特に重点を置いて、傾向スコアモデルの既存のキャリブレーションフレームワークを改良します。
第二に、広範なシミュレーションにより、校正が逆ベースの傾向スコア推定器の分散を減らしながら、小型サンプルのレジームであってもIPWのバイアスを軽減することを示します。
特に、キャリブレーションは、DMLの二重堅牢な特性を維持しながら、柔軟な学習者の安定性（勾配ブーストなど）を改善します。
重要な洞察は、キャリブレーションなしでメソッドがうまく機能する場合でも、適切なサンプル分割アプローチが選択されていれば、キャリブレーションステップを組み込むことはパフォーマンスを低下させないことです。

要約(オリジナル)

The partitioning of data for estimation and calibration critically impacts the performance of propensity score based estimators like inverse probability weighting (IPW) and double/debiased machine learning (DML) frameworks. We extend recent advances in calibration techniques for propensity score estimation, improving the robustness of propensity scores in challenging settings such as limited overlap, small sample sizes, or unbalanced data. Our contributions are twofold: First, we provide a theoretical analysis of the properties of calibrated estimators in the context of DML. To this end, we refine existing calibration frameworks for propensity score models, with a particular emphasis on the role of sample-splitting schemes in ensuring valid causal inference. Second, through extensive simulations, we show that calibration reduces variance of inverse-based propensity score estimators while also mitigating bias in IPW, even in small-sample regimes. Notably, calibration improves stability for flexible learners (e.g., gradient boosting) while preserving the doubly robust properties of DML. A key insight is that, even when methods perform well without calibration, incorporating a calibration step does not degrade performance, provided that an appropriate sample-splitting approach is chosen.

arxiv情報

著者 Jan Rabenseifner,Sven Klaassen,Jannis Kueck,Philipp Bach
発行日 2025-03-21 16:41:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, econ.EM, stat.ME, stat.ML | Calibration Strategies for Robust Causal Estimation: Theoretical and Empirical Insights on Propensity Score Based Estimators はコメントを受け付けていません

On Quantum Perceptron Learning via Quantum Search

投稿日: 2025年3月24日 作成者: jarxiv

要約

量子機械学習への関心が高まっているため、Perceptronは、従来の機械学習における基本的な構成要素である – 量子の利点を調査するための貴重なモデルとして浮上しています。
Groverの検索に基づいた2つの量子パーセプトロンアルゴリズムは、Arxiv：1602.04799で開発され、トレーニングを加速し、Perceptron学習の統計効率を向上させました。
このペーパーでは、Arxiv：1602.04799の定理2の証拠の間違いを指摘し、修正します。
具体的には、データスケールを$ \ omega（\ gamma^{d}）$として完全に分類する$ d $ dimensional Hyperplaneの正規分布からサンプリングする確率は、$ \ theta（{\ gamma}）$、$ \ gamma $はマージンです。
次に、Perceptron学習のコンテキストで、2つの確立された線形プログラミングアルゴリズム（楕円形メソッドと切断平面ランダムウォークアルゴリズム）を再検討し、量子検索アルゴリズムをレバレッジして全体的な複雑さを高める方法を示します。
具体的には、両方のアルゴリズムは、Groverのアルゴリズムの結果として、データポイント$ n $の数のデータポイント数でサブ線形スピードアップ$ o（\ sqrt {n}）$を獲得し、Quantum Walk Searchを採用しているプレーンランダムウォークアルゴリズムを切断するために追加の$ o（d^{1.5}）$ speed-upが可能です。

要約(オリジナル)

With the growing interest in quantum machine learning, the perceptron — a fundamental building block in traditional machine learning — has emerged as a valuable model for exploring quantum advantages. Two quantum perceptron algorithms based on Grover’s search, were developed in arXiv:1602.04799 to accelerate training and improve statistical efficiency in perceptron learning. This paper points out and corrects a mistake in the proof of Theorem 2 in arXiv:1602.04799. Specifically, we show that the probability of sampling from a normal distribution for a $D$-dimensional hyperplane that perfectly classifies the data scales as $\Omega(\gamma^{D})$ instead of $\Theta({\gamma})$, where $\gamma$ is the margin. We then revisit two well-established linear programming algorithms — the ellipsoid method and the cutting plane random walk algorithm — in the context of perceptron learning, and show how quantum search algorithms can be leveraged to enhance the overall complexity. Specifically, both algorithms gain a sub-linear speed-up $O(\sqrt{N})$ in the number of data points $N$ as a result of Grover’s algorithm and an additional $O(D^{1.5})$ speed-up is possible for cutting plane random walk algorithm employing quantum walk search.

arxiv情報

著者 Xiaoyu Sun,Mathieu Roget,Giuseppe Di Molfetta,Hachem Kadri
発行日 2025-03-21 16:57:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, quant-ph, stat.ML | On Quantum Perceptron Learning via Quantum Search はコメントを受け付けていません

PA-CFL: Privacy-Adaptive Clustered Federated Learning for Transformer-Based Sales Forecasting on Heterogeneous Retail Data

投稿日: 2025年3月24日 作成者: jarxiv

要約

Federated Learning（FL）により、小売業者はプライバシーを維持しながら需要予測のモデルパラメーターを共有できます。
ただし、消費者の行動の変化などの要因によって駆動される多様な地域全体の不均一なデータは、連合学習の有効性に課題をもたらします。
この課題に取り組むために、私たちは、不均一な小売データの需要予測に合わせて調整されたプライバシーに適したクラスター化されたフェデレート学習（PA-CFL）を提案します。
PA-CFLグループは、プライバシーと機能の重要性を活用することにより、小売業者を明確な「バブル」にグループ化し、それぞれが独自のフェデレーション学習システムを形成して、データの不均一性を効果的に分離します。
各バブル内で、トランスモデルは、各クライアントのローカル販売を予測するように設計されています。
私たちの実験は、PA-CFLがFEDAVGを大幅に上回り、すべての参加クライアントの需要予測パフォーマンスにおけるローカル学習を上回ることを示しています。
ローカル学習と比較して、PA-CFLはR^2の5.4％の改善、RMSEの69％の減少、およびMAEの45％の減少を達成します。
当社のアプローチにより、多様なノイズレベルと各バブルに参加するクライアントの範囲への適応調整を通じて、効果的なFLが可能になります。
参加者をグループ化し、リスクの高いクライアントを積極的に除外することにより、PA-CFLはFLシステムに対する潜在的な脅威を軽減します。
調査結果は、不均一なデータを使用した時系列予測タスクでフェデレーション学習を強化するPA-CFLの能力を示しており、小売アプリケーションでの予測の精度とプライバシーの保存のバランスをとっています。
さらに、PA-CFLのクライアントからの毒データを検出および中和する能力は、システムの堅牢性と信頼性を高めます。

要約(オリジナル)

Federated learning (FL) enables retailers to share model parameters for demand forecasting while maintaining privacy. However, heterogeneous data across diverse regions, driven by factors such as varying consumer behavior, poses challenges to the effectiveness of federated learning. To tackle this challenge, we propose Privacy-Adaptive Clustered Federated Learning (PA-CFL) tailored for demand forecasting on heterogeneous retail data. By leveraging differential privacy and feature importance distribution, PA-CFL groups retailers into distinct “bubbles”, each forming its own federated learning system to effectively isolate data heterogeneity. Within each bubble, Transformer models are designed to predict local sales for each client. Our experiments demonstrate that PA-CFL significantly surpasses FedAvg and outperforms local learning in demand forecasting performance across all participating clients. Compared to local learning, PA-CFL achieves a 5.4% improvement in R^2, a 69% reduction in RMSE, and a 45% decrease in MAE. Our approach enables effective FL through adaptive adjustments to diverse noise levels and the range of clients participating in each bubble. By grouping participants and proactively filtering out high-risk clients, PA-CFL mitigates potential threats to the FL system. The findings demonstrate PA-CFL’s ability to enhance federated learning in time series prediction tasks with heterogeneous data, achieving a balance between forecasting accuracy and privacy preservation in retail applications. Additionally, PA-CFL’s capability to detect and neutralize poisoned data from clients enhances the system’s robustness and reliability.

arxiv情報

著者 Yunbo Long,Liming Xu,Ge Zheng,Alexandra Brintrup
発行日 2025-03-21 17:13:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CR, cs.LG | PA-CFL: Privacy-Adaptive Clustered Federated Learning for Transformer-Based Sales Forecasting on Heterogeneous Retail Data はコメントを受け付けていません

Predicting Potential Customer Support Needs and Optimizing Search Ranking in a Two-Sided Marketplace

投稿日: 2025年3月24日 作成者: jarxiv

要約

Airbnbは、ホストとゲストをユニークな滞在と経験に結びつけるオンラインマーケットプレイスです。
Airbnbで予約された家に滞在すると、Airbnbのカスタマーサポート（CS）から必要なサポートにつながる少数の滞在があります。
この作業では、ホストとゲストの行動に基づいて、CSサポートが必要な場合が予測される可能性があることを示します。
ゲストとホストの各試合のCSサポートニーズの可能性を予測するためのモデルを構築します。
モデルスコアは、多くの要因の1つとしてAirbnbの検索ランキングアルゴリズムに組み込まれています。
この変更は、検索結果のより信頼性の高い一致を促進し、CSサポートが必要な予約を大幅に削減します。

要約(オリジナル)

Airbnb is an online marketplace that connects hosts and guests to unique stays and experiences. When guests stay at homes booked on Airbnb, there are a small fraction of stays that lead to support needed from Airbnb’s Customer Support (CS), which may cause inconvenience to guests and hosts and require Airbnb resources to resolve. In this work, we show that instances where CS support is needed may be predicted based on hosts and guests behavior. We build a model to predict the likelihood of CS support needs for each match of guest and host. The model score is incorporated into Airbnb’s search ranking algorithm as one of the many factors. The change promotes more reliable matches in search results and significantly reduces bookings that require CS support.

arxiv情報

著者 Do-kyum Kim,Han Zhao,Huiji Gao,Liwei He,Malay Haldar,Sanjeev Katariya
発行日 2025-03-21 17:30:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Predicting Potential Customer Support Needs and Optimizing Search Ranking in a Two-Sided Marketplace はコメントを受け付けていません

Data-driven measures of high-frequency trading

投稿日: 2025年3月24日 作成者: jarxiv

要約

高周波取引（HFT）は、株式取引量のほぼ半分を占めていますが、公開データでは特定されていません。
私たちは、流動性を需要と要求する戦略を分離するHFT活動の新しいデータ駆動型測定を開発します。
機械学習モデルをトレーニングして、同時の公開データを使用して独自のデータセットで観察されるHFTアクティビティを予測します。
データセットで訓練されると、これらのモデルは2010年から2023年にかけて米国のストックユニバース全体のHFT測定値を生成します。当社の測定は、HFTの時間的ダイナミクスをキャプチャするのに苦労する従来のプロキシよりも優れています。
さらに、Latencyアービトラージ、交換速度バンプ、データフィードのアップグレードなど、HFTアクティビティにショックを使用してそれらを検証します。
最後に、私たちの措置は、HFTが基本的な情報収集にどのように影響するかを明らかにしています。
流動性サプライリンのHFTは、収益の発表に関する価格発見を改善し、流動性を促進する戦略がそれを妨げます。

要約(オリジナル)

High-frequency trading (HFT) accounts for almost half of equity trading volume, yet it is not identified in public data. We develop novel data-driven measures of HFT activity that separate strategies that supply and demand liquidity. We train machine learning models to predict HFT activity observed in a proprietary dataset using concurrent public intraday data. Once trained on the dataset, these models generate HFT measures for the entire U.S. stock universe from 2010 to 2023. Our measures outperform conventional proxies, which struggle to capture HFT’s time dynamics. We further validate them using shocks to HFT activity, including latency arbitrage, exchange speed bumps, and data feed upgrades. Finally, our measures reveal how HFT affects fundamental information acquisition. Liquidity-supplying HFTs improve price discovery around earnings announcements while liquidity-demanding strategies impede it.

arxiv情報

著者 G. Ibikunle,B. Moews,D. Muravyev,K. Rzayev
発行日 2025-03-21 17:31:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 62P20, 91G15, cs.LG, q-fin.CP | Data-driven measures of high-frequency trading はコメントを受け付けていません

SNPL: Simultaneous Policy Learning and Evaluation for Safe Multi-Objective Policy Improvement

投稿日: 2025年3月24日 作成者: jarxiv

要約

効果的なデジタル介入を設計するために、実験者は、オフラインデータを使用して複数の目標のバランスをとる決定ポリシーを学習するという課題に直面します。
多くの場合、彼らは目標の成果を最大化するポリシーを開発することを目指しているが、ガードレールの結果に望ましくない変化がないことを保証することを目指しています。
信頼できる推奨事項を提供するために、実験者は、目標とガードレールの結果の望ましい変化を満たすポリシーを特定するだけでなく、これらのポリシーが誘発する変更について確率的保証も提供する必要があります。
ただし、実際には、ポリシークラスは多くの場合大きく、デジタル実験はノイズに比べて小さな効果サイズのデータ​​セットを生成する傾向があります。
この設定では、データの分割や複数のテストなどの標準的なアプローチにより、不安定なポリシー選択や統計パワーが不十分になることがよくあります。
この論文では、これらの課題に対処するためにアルゴリズムの安定性の概念を活用する新しいアプローチである、安全なノイズの多いポリシー学習（SNPL）を提供します。
当社の方法により、ポリシー学習が可能になり、データセット全体を使用して高い自信保証を提供し、データ分割の必要性を回避できます。
推奨されるポリシーがガードレール回帰を回避し、目標の結果の改善を達成するための高確定性保証を満たすことを保証するアルゴリズムの有限サンプルおよび漸近バージョンを提示します。
SMS配信のパーソナライズの実際のアプリケーションで、アプローチアプローチの両方のバリエーションを経験的にテストします。
現実世界のデータに関する我々の結果は、私たちのアプローチが、大規模なポリシークラスと低いサンプルと漸近安全保証の両方で大きな信号対雑音を備えた設定の劇的な改善を提供し、検出率の最大300％の改善と、かなり少ないサンプルサイズでのポリシーゲインの150 \％の改善を提供することを示唆しています。

要約(オリジナル)

To design effective digital interventions, experimenters face the challenge of learning decision policies that balance multiple objectives using offline data. Often, they aim to develop policies that maximize goal outcomes, while ensuring there are no undesirable changes in guardrail outcomes. To provide credible recommendations, experimenters must not only identify policies that satisfy the desired changes in goal and guardrail outcomes, but also offer probabilistic guarantees about the changes these policies induce. In practice, however, policy classes are often large, and digital experiments tend to produce datasets with small effect sizes relative to noise. In this setting, standard approaches such as data splitting or multiple testing often result in unstable policy selection and/or insufficient statistical power. In this paper, we provide safe noisy policy learning (SNPL), a novel approach that leverages the concept of algorithmic stability to address these challenges. Our method enables policy learning while simultaneously providing high-confidence guarantees using the entire dataset, avoiding the need for data-splitting. We present finite-sample and asymptotic versions of our algorithm that ensure the recommended policy satisfies high-probability guarantees for avoiding guardrail regressions and/or achieving goal outcome improvements. We test both variants of our approach approach empirically on a real-world application of personalizing SMS delivery. Our results on real-world data suggest that our approach offers dramatic improvements in settings with large policy classes and low signal-to-noise across both finite-sample and asymptotic safety guarantees, offering up to 300\% improvements in detection rates and 150\% improvements in policy gains at significantly smaller sample sizes.

arxiv情報

著者 Brian Cho,Ana-Roxana Pop,Ariel Evnine,Nathan Kallus
発行日 2025-03-21 17:38:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, econ.EM, stat.ML | SNPL: Simultaneous Policy Learning and Evaluation for Safe Multi-Objective Policy Improvement はコメントを受け付けていません

Primal Methods for Variational Inequality Problems with Functional Constraints

投稿日: 2025年3月24日 作成者: jarxiv

要約

機械学習や運用研究を含むさまざまな分野での幅広いアプリケーションでは、変動不平等の問題が認識されています。
一次方法は、それらの単純さとスケーラビリティのために、これらの問題を解決するための標準的なアプローチとして浮上しています。
ただし、通常、それらは予測または線形最小化のオラクルに依存して、実行可能なセットをナビゲートします。
このような機能的に制約された変動不平等の問題に取り組むための既存の取り組みは、ラグランジアン関数に基づいた原始アルゴリズムに集中しています。
これらのアルゴリズムとその理論的分析は、多くの場合、最適なラグランジュ乗数の存在と事前知識を必要とします。
この作業では、最適なラグランジュ乗数に関する情報を必要とせずに、機能的な制約された変動不等式の問題に対処するために、制約付き勾配法（CGM）と呼ばれる単純な原始法を提案します。
私たちは、円形の制約の下で単調な演算子とともに、ミント変分変異不平等の問題のアルゴリズムの非皮質収束分析を確立します。
驚くべきことに、私たちのアルゴリズムは、二次プログラミングに基づいて大幅に安価なオラクルを使用しながら、単調なモノトーン設定の両方の演算子クエリの観点から、投影ベースの方法の複雑さと一致します。
さらに、アルゴリズムの有効性を評価するために、いくつかの数値例を提供します。

要約(オリジナル)

Variational inequality problems are recognized for their broad applications across various fields including machine learning and operations research. First-order methods have emerged as the standard approach for solving these problems due to their simplicity and scalability. However, they typically rely on projection or linear minimization oracles to navigate the feasible set, which becomes computationally expensive in practical scenarios featuring multiple functional constraints. Existing efforts to tackle such functional constrained variational inequality problems have centered on primal-dual algorithms grounded in the Lagrangian function. These algorithms along with their theoretical analysis often require the existence and prior knowledge of the optimal Lagrange multipliers. In this work, we propose a simple primal method, termed Constrained Gradient Method (CGM), for addressing functional constrained variational inequality problems, without requiring any information on the optimal Lagrange multipliers. We establish a non-asymptotic convergence analysis of the algorithm for Minty variational inequality problems with monotone operators under smooth constraints. Remarkably, our algorithms match the complexity of projection-based methods in terms of operator queries for both monotone and strongly monotone settings, while using significantly cheaper oracles based on quadratic programming. Furthermore, we provide several numerical examples to evaluate the efficacy of our algorithms.

arxiv情報

著者 Liang Zhang,Niao He,Michael Muehlebach
発行日 2025-03-21 17:54:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC, stat.ML | Primal Methods for Variational Inequality Problems with Functional Constraints はコメントを受け付けていません

Glivenko-Cantelli for $f$-divergence

投稿日: 2025年3月24日 作成者: jarxiv

要約

総変動距離の標準設定からすべての$ f $ divergencesまで、統計の基本的な定理と呼ばれることもある有名なGlivenko-Cantelliの定理を拡張します。
この努力の重要な障害は、$ \ pi $ -Systemを形成する$ \ sigma $ -olgebraのサブコレクションで$ f $ divergenceを定義することです。
これは私たちの仕事の副貢献です。
レイズの$ \ pi $ -systemの$ f $ divergenceのこの概念は、標準$ f $ divergenceのほぼすべての既知の特性を保存し、コルモゴロフスミルノフ距離の新規統合表現を生成し、Glivenko-Cantelli理論を持っていることを示します。

要約(オリジナル)

We extend the celebrated Glivenko-Cantelli theorem, sometimes called the fundamental theorem of statistics, from its standard setting of total variation distance to all $f$-divergences. A key obstacle in this endeavor is to define $f$-divergence on a subcollection of a $\sigma$-algebra that forms a $\pi$-system but not a $\sigma$-subalgebra. This is a side contribution of our work. We will show that this notion of $f$-divergence on the $\pi$-system of rays preserves nearly all known properties of standard $f$-divergence, yields a novel integral representation of the Kolmogorov-Smirnov distance, and has a Glivenko-Cantelli theorem.

arxiv情報

著者 Haoming Wang,Lek-Heng Lim
発行日 2025-03-21 17:58:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: 60B10, 60F15, 60F25, cs.LG, math.ST, stat.TH | Glivenko-Cantelli for $f$-divergence はコメントを受け付けていません

Gumbel-Softmax Flow Matching with Straight-Through Guidance for Controllable Biological Sequence Generation

投稿日: 2025年3月24日 作成者: jarxiv

要約

連続シンプレックスのフローマッチングは、DNA配列設計の有望な戦略として浮上していますが、ペプチドとタンパク質の生成に必要なより高いシンプレックス寸法に拡大するのに苦労しています。
Gumbel-Softmaxの流れとスコアマッチングを導入します。これは、時間依存の温度を持つ新しいGumbel-Softmax散布剤に基づいたシンプレックスの生成的フレームワークです。
この散布剤を使用して、滑らかなカテゴリー分布からシンプレックスの単一の頂点に濃縮された分布に輸送されるパラメーター化された速度フィールドを導出することにより、Gumbel-SoftMaxフローマッチングを導入します。
あるいは、確率密度の勾配を回帰することを学ぶGumbel-SoftMaxスコアマッチングを提示します。
当社のフレームワークにより、高品質で多様な生成とスケールが高次元のシンプルに効率的に可能になります。
トレーニングのないガイダンスを有効にするために、ストレートスルーベースのガイダンス方法であるストレートスルーガイドフロー（STGFLOW）を提案します。これは、ストレートスルー推定器を活用して、単純な頂点に向かって無条件の速度フィールドを操縦することを提案します。
STGFLOWは、クリーンシーケンスで事前に訓練された分類器を使用した効率的な推論時間ガイダンスを有効にし、任意の個別のフロー方法で使用できます。
一緒に、これらのコンポーネントは、制御可能なde novoシーケンス生成のための堅牢なフレームワークを形成します。
まれな疾患治療のための条件付きDNAプロモーター設計、配列のみのタンパク質生成、および標的結合ペプチド設計における最先端のパフォーマンスを示します。

要約(オリジナル)

Flow matching in the continuous simplex has emerged as a promising strategy for DNA sequence design, but struggles to scale to higher simplex dimensions required for peptide and protein generation. We introduce Gumbel-Softmax Flow and Score Matching, a generative framework on the simplex based on a novel Gumbel-Softmax interpolant with a time-dependent temperature. Using this interpolant, we introduce Gumbel-Softmax Flow Matching by deriving a parameterized velocity field that transports from smooth categorical distributions to distributions concentrated at a single vertex of the simplex. We alternatively present Gumbel-Softmax Score Matching which learns to regress the gradient of the probability density. Our framework enables high-quality, diverse generation and scales efficiently to higher-dimensional simplices. To enable training-free guidance, we propose Straight-Through Guided Flows (STGFlow), a classifier-based guidance method that leverages straight-through estimators to steer the unconditional velocity field toward optimal vertices of the simplex. STGFlow enables efficient inference-time guidance using classifiers pre-trained on clean sequences, and can be used with any discrete flow method. Together, these components form a robust framework for controllable de novo sequence generation. We demonstrate state-of-the-art performance in conditional DNA promoter design, sequence-only protein generation, and target-binding peptide design for rare disease treatment.

arxiv情報

著者 Sophia Tang,Yinuo Zhang,Alexander Tong,Pranam Chatterjee
発行日 2025-03-21 17:59:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.BM | Gumbel-Softmax Flow Matching with Straight-Through Guidance for Controllable Biological Sequence Generation はコメントを受け付けていません