MMD-Newton Method for Multi-objective Optimization

投稿日: 2025年5月21日 作成者: jarxiv

要約

確率分布間の距離を測定するために、最大平均不一致（MMD）が広く採用されています。
この論文では、MMDを使用して連続的な多目的最適化問題（MOPS）を解決することを提案します。
MOPを解くために、一般的なアプローチは、パレートフロントの有限概念セットと参照セットの間の距離（Hausdorffなど）を最小化することです。
これらの2つのセットを経験的尺度として表示すると、MMDを使用してそれらの間の距離を測定することを提案します。
MMD値を最小限に抑えるために、その勾配とHessian Matrix W.R.Tの分析的表現を提供します。
検索変数は、それらを使用して、新しいセット指向のMMDベースのニュートン（MMDN）メソッドを考案します。
また、MMDNの正確性を検証するために重要な1次の固定条件とヘシアンの固有種を含む、MMDの勾配とヘシアンの理論的特性を分析します。
複雑な問題を解決するために、多目的進化的アルゴリズム（MOEAS）でMMDNをハイブリダイズすることを提案します。ここでは、最初にいくつかの反復がEAを実行して、Gologal Pareto Frontに近づき、MOEAの結果を暖かくスタートして近似を効率的に模倣します。
広く使用されている11のベンチマーク問題でハイブリッドアルゴリズムを経験的にテストし、結果は、ハイブリッド（MMDN + MOEA）が同じ計算予算でEAだけよりもはるかに優れた最適化精度を達成できることを示しています。

要約(オリジナル)

Maximum mean discrepancy (MMD) has been widely employed to measure the distance between probability distributions. In this paper, we propose using MMD to solve continuous multi-objective optimization problems (MOPs). For solving MOPs, a common approach is to minimize the distance (e.g., Hausdorff) between a finite approximate set of the Pareto front and a reference set. Viewing these two sets as empirical measures, we propose using MMD to measure the distance between them. To minimize the MMD value, we provide the analytical expression of its gradient and Hessian matrix w.r.t. the search variables, and use them to devise a novel set-oriented, MMD-based Newton (MMDN) method. Also, we analyze the theoretical properties of MMD’s gradient and Hessian, including the first-order stationary condition and the eigenspectrum of the Hessian, which are important for verifying the correctness of MMDN. To solve complicated problems, we propose hybridizing MMDN with multiobjective evolutionary algorithms (MOEAs), where we first execute an EA for several iterations to get close to the global Pareto front and then warm-start MMDN with the result of the MOEA to efficiently refine the approximation. We empirically test the hybrid algorithm on 11 widely used benchmark problems, and the results show the hybrid (MMDN + MOEA) can achieve a much better optimization accuracy than EA alone with the same computation budget.

arxiv情報

著者 Hao Wang,Chenyu Shi,Angel E. Rodriguez-Fernandez,Oliver Schütze
発行日 2025-05-20 16:56:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | MMD-Newton Method for Multi-objective Optimization はコメントを受け付けていません

Virtual Cells: Predict, Explain, Discover

投稿日: 2025年5月21日 作成者: jarxiv

要約

創薬は基本的に患者に対する治療の効果を推測するプロセスであり、したがって、患者の反応を確実にシミュレートできる計算モデルから非常に恩恵を受け、研究者が高価な臨床試験を開始する前に多数の治療仮説を安全かつ経済的にテストできるようにします。
幅広い摂動に対する細胞の機能的応答を予測するより具体的なモデルでさえ、診療所にうまく変換される安全で効果的な治療を発見するために非常に価値があります。
このような仮想セルを作成することは、長い間、細胞生物学の困難な複雑さと規模を考えると、残念ながら不満を抱いたままである計算研究コミュニティの目標でした。
それにもかかわらず、AIの最近の進歩、コンピューティングパワー、ラボオートメーション、ハイスループットセルラープロファイリングは、この目標を達成するための新しい機会を提供します。
この観点では、再帰での経験に基づいた仮想セルを開発および評価するというビジョンを提示します。
新しい生物学を発見するための有用なツールになるためには、仮想細胞は摂動に対する細胞の機能的応答を正確に予測し、予測された応答が主要な生体分子相互作用の修正の結果であることを説明する必要があると主張します。
次に、治療的に関連する仮想セルを設計するための重要な原則を紹介し、それらとの新しい洞察を生成するためのループのラボアプローチを説明し、仮想セルの開発を導くための生物学的に接地されたベンチマークを提唱します。
最後に、仮想セルへのアプローチが、仮想患者を含むより高いレベルの組織で他のモデルを構築するための有用なフレームワークを提供すると主張します。
これらの方向が、創薬の結果にプラスの影響を与えるために最適化された仮想モデルを開発する際に、研究コミュニティにとって有用であることを証明することを願っています。

要約(オリジナル)

Drug discovery is fundamentally a process of inferring the effects of treatments on patients, and would therefore benefit immensely from computational models that can reliably simulate patient responses, enabling researchers to generate and test large numbers of therapeutic hypotheses safely and economically before initiating costly clinical trials. Even a more specific model that predicts the functional response of cells to a wide range of perturbations would be tremendously valuable for discovering safe and effective treatments that successfully translate to the clinic. Creating such virtual cells has long been a goal of the computational research community that unfortunately remains unachieved given the daunting complexity and scale of cellular biology. Nevertheless, recent advances in AI, computing power, lab automation, and high-throughput cellular profiling provide new opportunities for reaching this goal. In this perspective, we present a vision for developing and evaluating virtual cells that builds on our experience at Recursion. We argue that in order to be a useful tool to discover novel biology, virtual cells must accurately predict the functional response of a cell to perturbations and explain how the predicted response is a consequence of modifications to key biomolecular interactions. We then introduce key principles for designing therapeutically-relevant virtual cells, describe a lab-in-the-loop approach for generating novel insights with them, and advocate for biologically-grounded benchmarks to guide virtual cell development. Finally, we make the case that our approach to virtual cells provides a useful framework for building other models at higher levels of organization, including virtual patients. We hope that these directions prove useful to the research community in developing virtual models optimized for positive impact on drug discovery outcomes.

arxiv情報

著者 Emmanuel Noutahi,Jason Hartford,Prudencio Tossou,Shawn Whitfield,Alisandra K. Denton,Cas Wognum,Kristina Ulicna,Jonathan Hsu,Michael Cuccarese,Emmanuel Bengio,Dominique Beaini,Christopher Gibson,Daniel Cohen,Berton Earnshaw
発行日 2025-05-20 16:59:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, q-bio.QM | Virtual Cells: Predict, Explain, Discover はコメントを受け付けていません

Variance-Optimal Arm Selection: Regret Minimization and Best Arm Identification

投稿日: 2025年5月21日 作成者: jarxiv

要約

このペーパーでは、$ k $の独立したアームのセットから最高の分散で腕を選択することに焦点を当てています。
具体的には、2つの設定に焦点を当てています。（i）後悔の設定、それは分散の観点から次の腕のプルの数をペナルティし、（ii）固定数のプルの後に最も高い分散でアームを決定するアルゴリズムの能力を評価する固定予算BAI設定。
後悔のために\ texttt {ucb-vv}と呼ばれる新しいオンラインアルゴリズムを開発し、境界のある報酬に対する後悔に対する上限が$ \ mathcal {o} \ left（\ log {n} \ right）$ $ n $ of（$ n $が地平線であることを示します。
後悔の下限を導き出すことにより、\ texttt {ucb-vv}が最適であることを示します。
固定予算BAI設定については、\ texttt {shvv}アルゴリズムを提案します。
\ texttt {shvv}のエラー確率の上限は、$ \ exp \ left（ – \ frac {n} {\ log（k）h} \ right）$として進化することを示します。
サンプルの分散に対する新規濃度の不平等を使用して、フレームワークを境界分布からサブガウス分布に拡張します。
同じことを活用すると、以前は文献では知られていなかった、ガウス帯分布の経験的シャープ比（SR）の濃度不平等を導き出します。
経験的シミュレーションは、\ texttt {ucb-vv}が一貫して\ texttt {$ \ epsilon $ -greedy}を異なるサブオプティマリティギャップで上回ることを示していますが、\ texttt {vts}が上回ります。
また、均一なサンプリングに対する6つの異なるセットアップの下で固定された予算設定について、\ texttt {shvv}の優れた性能を示します。
最後に、幾何学的なブラウンモーション（GBM）を使用して生成された100ドルの株式でのコールオプション取引で、\ texttt {ucb-vv}および\ texttt {shvv}のパフォーマンスを経験的に評価するためのケーススタディを実施します。

要約(オリジナル)

This paper focuses on selecting the arm with the highest variance from a set of $K$ independent arms. Specifically, we focus on two settings: (i) regret setting, that penalizes the number of pulls of suboptimal arms in terms of variance, and (ii) fixed-budget BAI setting, that evaluates the ability of an algorithm to determine the arm with the highest variance after a fixed number of pulls. We develop a novel online algorithm called \texttt{UCB-VV} for the regret setting and show that its upper bound on regret for bounded rewards evolves as $\mathcal{O}\left(\log{n}\right)$ where $n$ is the horizon. By deriving the lower bound on the regret, we show that \texttt{UCB-VV} is order optimal. For the fixed budget BAI setting, we propose the \texttt{SHVV} algorithm. We show that the upper bound of the error probability of \texttt{SHVV} evolves as $\exp\left(-\frac{n}{\log(K) H}\right)$, where $H$ represents the complexity of the problem, and this rate matches the corresponding lower bound. We extend the framework from bounded distributions to sub-Gaussian distributions using a novel concentration inequality on the sample variance. Leveraging the same, we derive a concentration inequality for the empirical Sharpe ratio (SR) for sub-Gaussian distributions, which was previously unknown in the literature. Empirical simulations show that \texttt{UCB-VV} consistently outperforms \texttt{$\epsilon$-greedy} across different sub-optimality gaps, though it is surpassed by \texttt{VTS}, which exhibits the lowest regret, albeit lacking in theoretical guarantees. We also illustrate the superior performance of \texttt{SHVV}, for a fixed budget setting under 6 different setups against uniform sampling. Finally, we conduct a case study to empirically evaluate the performance of the \texttt{UCB-VV} and \texttt{SHVV} in call option trading on $100$ stocks generated using geometric Brownian motion (GBM).

arxiv情報

著者 Sabrina Khurshid,Gourab Ghatak,Mohammad Shahid Abdulla
発行日 2025-05-20 17:01:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Variance-Optimal Arm Selection: Regret Minimization and Best Arm Identification はコメントを受け付けていません

Fine-Grained Uncertainty Quantification via Collisions

投稿日: 2025年5月21日 作成者: jarxiv

要約

アレアトリック不確実性定量化（UQ）のための新しい直感的なメトリックを提案します。これは、異なるクラスで観察されている同じ入力として定義されたクラス衝突の有病率です。
クラス衝突の速度を使用して、衝突マトリックスを定義します。これは、斬新でユニークに微調整された不確実性の尺度です。
$ k $クラスを含む分類問題の場合、$ k \ Times K $ Collision Matrix $ s $は、各クラスのペアを区別するという固有の難易度を測定します。
衝突マトリックスのいくつかのアプリケーションについて説明し、その基本的な数学的特性を確立し、ベイズエラー率（BER）を含む既存のUQメソッドとの関係を示します。
また、$ s $を推定するための一連の革新的な手法を提案することにより、1つのホットラベル付きデータを使用して衝突マトリックスを推定するという新しい問題に対処します。
まず、2つの入力を受け入れ、それらが同じクラスに属しているかどうかを判断するペアワイズコントラストモデルを学習します。
次に、この対照的なモデル（PAC学習可能）を使用して、$ g = s^ts $として定義される$ s $のグラミアンマトリックスを推定できることを示します。
最後に、合理的な仮定の下で、$ g $を使用して$ s $を一意に回収できることを示します。
確立された$ s $を推定する方法により、この$ s $の推定値は、対照的なモデルと組み合わせて、任意のポイントの後部クラスの移植性分布を推定する方法を示します。
また、いくつかのデータセットで衝突マトリックスとクラスの事後分布を推定する方法を検証するために、実験結果も提示されています。

要約(オリジナル)

We propose a new and intuitive metric for aleatoric uncertainty quantification (UQ), the prevalence of class collisions defined as the same input being observed in different classes. We use the rate of class collisions to define the collision matrix, a novel and uniquely fine-grained measure of uncertainty. For a classification problem involving $K$ classes, the $K\times K$ collision matrix $S$ measures the inherent difficulty in distinguishing between each pair of classes. We discuss several applications of the collision matrix, establish its fundamental mathematical properties, as well as show its relationship with existing UQ methods, including the Bayes error rate (BER). We also address the new problem of estimating the collision matrix using one-hot labeled data by proposing a series of innovative techniques to estimate $S$. First, we learn a pair-wise contrastive model which accepts two inputs and determines if they belong to the same class. We then show that this contrastive model (which is PAC learnable) can be used to estimate the Gramian matrix of $S$, defined as $G=S^TS$. Finally, we show that under reasonable assumptions, $G$ can be used to uniquely recover $S$, a new result on non-negative matrices which could be of independent interest. With a method to estimate $S$ established, we demonstrate how this estimate of $S$, in conjunction with the contrastive model, can be used to estimate the posterior class portability distribution of any point. Experimental results are also presented to validate our methods of estimating the collision matrix and class posterior distributions on several datasets.

arxiv情報

著者 Jesse Friedbaum,Sudarshan Adiga,Ravi Tandon
発行日 2025-05-20 17:03:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IT, cs.LG, math.IT, math.ST, stat.ML, stat.TH | Fine-Grained Uncertainty Quantification via Collisions はコメントを受け付けていません

Exploring Non-Convex Discrete Energy Landscapes: An Efficient Langevin-Like Sampler with Replica Exchange

投稿日: 2025年5月21日 作成者: jarxiv

要約

グラデーションベースの離散サンプラー（GDS）は、離散エネルギーのランドスケープをサンプリングするのに効果的です。
しかし、それらはしばしば複雑で非凸設定で停滞します。
探索を改善するために、個別のレプリカ交換Langevin（Drexel）サンプラーと、調整されたメトロポリス（夢）を備えたそのバリアントを紹介します。
これらのサンプラーは、異なる温度とステップサイズで2つのGDSを使用します。1つは局所的な搾取に焦点を当て、もう1つはより広いエネルギーの風景を探求します。
エネルギーの違いが大きい場合、サンプルスワップが発生し、詳細なバランスを確保するために離散サンプリングに合わせたメカニズムによって決定されます。
理論的には、提案されたサンプラーが詳細なバランスを満たし、軽度の条件下でターゲット分布に収束することを証明します。
2D合成シミュレーション全体の実験、ISINGモデルと制限付きボルツマンマシンからのサンプリング、およびディープエネルギーベースのモデルのトレーニングにより、非凸の離散エネルギー景観の調査における効率がさらに確認されます。

要約(オリジナル)

Gradient-based Discrete Samplers (GDSs) are effective for sampling discrete energy landscapes. However, they often stagnate in complex, non-convex settings. To improve exploration, we introduce the Discrete Replica EXchangE Langevin (DREXEL) sampler and its variant with Adjusted Metropolis (DREAM). These samplers use two GDSs at different temperatures and step sizes: one focuses on local exploitation, while the other explores broader energy landscapes. When energy differences are significant, sample swaps occur, which are determined by a mechanism tailored for discrete sampling to ensure detailed balance. Theoretically, we prove that the proposed samplers satisfy detailed balance and converge to the target distribution under mild conditions. Experiments across 2d synthetic simulations, sampling from Ising models and restricted Boltzmann machines, and training deep energy-based models further confirm their efficiency in exploring non-convex discrete energy landscapes.

arxiv情報

著者 Haoyang Zheng,Hengrong Du,Ruqi Zhang,Guang Lin
発行日 2025-05-20 17:06:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Exploring Non-Convex Discrete Energy Landscapes: An Efficient Langevin-Like Sampler with Replica Exchange はコメントを受け付けていません

Bridging Predictive Coding and MDL: A Two-Part Code Framework for Deep Learning

投稿日: 2025年5月21日 作成者: jarxiv

要約

生物学的に触発されたローカル学習ルールである予測コーディング（PC）を接続する最初の理論的枠組みを提示します。
Layerwise PCは、MDLの2部構成のコード目標でブロック座標を実行し、それにより共同で経験的リスクとモデルの複雑さを最小限に抑えることを証明します。
Hoeffdingの不平等と前のプレフィックスコードを使用して、フォーム$ r（\ theta）\ le \^{r}（\ theta） + \ frac {l（\ theta）} {n} $のフォームの斬新な一般化境界を導き出し、フィットと圧縮の間のトレードオフをキャプチャします。
さらに、各PCは、経験的な2部構成のコードレングを単調に減少させ、制約のない勾配降下よりも緊密な高速性リスク境界をもたらすことを証明します。
最後に、繰り返されるPCの更新がブロック調の固定点に収束し、おおよそのMDL最適なソリューションを提供することを示します。
私たちの知る限り、これは、PCトレーニングを受けたディープモデルの正式な一般化と収束保証を提供する最初の結果であり、PCを理論的に根拠のある生物学的にもっともらしい代替品として位置づけます。

要約(オリジナル)

We present the first theoretical framework that connects predictive coding (PC), a biologically inspired local learning rule, with the minimum description length (MDL) principle in deep networks. We prove that layerwise PC performs block-coordinate descent on the MDL two-part code objective, thereby jointly minimizing empirical risk and model complexity. Using Hoeffding’s inequality and a prefix-code prior, we derive a novel generalization bound of the form $R(\theta) \le \^{R}(\theta) + \frac{L(\theta)}{N}$, capturing the tradeoff between fit and compression. We further prove that each PC sweep monotonically decreases the empirical two-part codelength, yielding tighter high-probability risk bounds than unconstrained gradient descent. Finally, we show that repeated PC updates converge to a block-coordinate stationary point, providing an approximate MDL-optimal solution. To our knowledge, this is the first result offering formal generalization and convergence guarantees for PC-trained deep models, positioning PC as a theoretically grounded and biologically plausible alternative to backpropagation.

arxiv情報

著者 Benjamin Prada,Shion Matsumoto,Abdul Malik Zekri,Ankur Mali
発行日 2025-05-20 17:25:16+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Bridging Predictive Coding and MDL: A Two-Part Code Framework for Deep Learning はコメントを受け付けていません

Early Diagnosis of Atrial Fibrillation Recurrence: A Large Tabular Model Approach with Structured and Unstructured Clinical Data

投稿日: 2025年5月21日 作成者: jarxiv

要約

背景：最も一般的な不整脈である心房細動（AF）は、高い罹患率と死亡率に関連しています。
急速に進化するAFリズム制御治療の時代では、最適な治療アプローチを達成するためには、chads2-vasc、hatch、Appleなどの従来のスコアが限られた予測精度を示すためには、その発症後のAF再発が重要である可能性があります。
さらに、早期診断研究は、エラーや情報の欠落が含まれる場合があるCodified Electronic Health Record（EHR）データに依存することがよくあります。
目的：この研究の目的は、従来の臨床スコア、MLモデル、およびLTMアプローチを評価することにより、発症後1か月から2年後のAF再発を予測することを目的としています。
さらに、もう1つの目的は、構造化されたデータと非構造化データを統合して表形式のデータセット品質を向上させる方法を開発することです。
方法：構造化された臨床データと、自然言語処理技術を通じて処理されたフリーテキスト放電レポートと組み合わせて、エラーと注釈の取り組みを削減することにより、表形式のデータセットが生成されました。
記録されたAF発症の合計1,508人の患者が特定され、モデルが手動で注釈されたテストセットで評価されました。
提案されたアプローチには、従来の臨床スコアとMLモデルと比較したLTMが含まれます。
結果：提案されたLTMアプローチは、従来の臨床スコアとMLモデルの両方を超える最高の予測パフォーマンスを達成しました。
さらに、性別と年齢のバイアス分析により、人口統計学的格差が明らかになりました。
結論：構造化されたデータとフリーテキストソースの統合により、高品質のデータセットが得られました。
調査結果は、AFの再発を予測する際の従来の臨床スコアの限界を強調し、MLベースのアプローチ、特にLTMモデルの可能性を強調しています。

要約(オリジナル)

BACKGROUND: Atrial fibrillation (AF), the most common arrhythmia, is linked to high morbidity and mortality. In a fast-evolving AF rhythm control treatment era, predicting AF recurrence after its onset may be crucial to achieve the optimal therapeutic approach, yet traditional scores like CHADS2-VASc, HATCH, and APPLE show limited predictive accuracy. Moreover, early diagnosis studies often rely on codified electronic health record (EHR) data, which may contain errors and missing information. OBJECTIVE: This study aims to predict AF recurrence between one month and two years after onset by evaluating traditional clinical scores, ML models, and our LTM approach. Moreover, another objective is to develop a methodology for integrating structured and unstructured data to enhance tabular dataset quality. METHODS: A tabular dataset was generated by combining structured clinical data with free-text discharge reports processed through natural language processing techniques, reducing errors and annotation effort. A total of 1,508 patients with documented AF onset were identified, and models were evaluated on a manually annotated test set. The proposed approach includes a LTM compared against traditional clinical scores and ML models. RESULTS: The proposed LTM approach achieved the highest predictive performance, surpassing both traditional clinical scores and ML models. Additionally, the gender and age bias analyses revealed demographic disparities. CONCLUSION: The integration of structured data and free-text sources resulted in a high-quality dataset. The findings emphasize the limitations of traditional clinical scores in predicting AF recurrence and highlight the potential of ML-based approaches, particularly our LTM model.

arxiv情報

著者 Ane G. Domingo-Aldama,Marcos Merino Prado,Alain García Olea,Koldo Gojenola Galletebeitia,Josu Goikoetxea Salutregi,Aitziber Atutxa Salazar
発行日 2025-05-20 17:31:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Early Diagnosis of Atrial Fibrillation Recurrence: A Large Tabular Model Approach with Structured and Unstructured Clinical Data はコメントを受け付けていません

Sequential QCQP for Bilevel Optimization with Line Search

投稿日: 2025年5月21日 作成者: jarxiv

要約

Bilevelの最適化には、ある問題が別の問題にネストされ、レベル間の複雑な相互依存性につながる階層構造が含まれます。
いつでも実現可能性を保証するシングルループのチューニングフリーのアルゴリズム、つまり、低レベルの最適性条件の近似満足度を保証し、上位レベルの目標の降下を保証します。
各反復で、閉じた形式のソリューションを備えた凸様式に制約された第四方性プログラム（QCQP）が検索方向を生成し、その後、安全で均一に正のステップサイズを確保するために、コントロールバリア関数に触発されたバックトラッキングライン検索が続きます。
結果の方法はスケーラブルであり、ハイパーパラメーターのチューニングを必要とせず、軽度のローカル規則性の仮定の下で収束します。
O（1/k）のエルゴジック収束率を確立し、代表的なバイレベルタスクに対するアルゴリズムの有効性を実証します。

要約(オリジナル)

Bilevel optimization involves a hierarchical structure where one problem is nested within another, leading to complex interdependencies between levels. We propose a single-loop, tuning-free algorithm that guarantees anytime feasibility, i.e., approximate satisfaction of the lower-level optimality condition, while ensuring descent of the upper-level objective. At each iteration, a convex quadratically-constrained quadratic program (QCQP) with a closed-form solution yields the search direction, followed by a backtracking line search inspired by control barrier functions to ensure safe, uniformly positive step sizes. The resulting method is scalable, requires no hyperparameter tuning, and converges under mild local regularity assumptions. We establish an O(1/k) ergodic convergence rate and demonstrate the algorithm’s effectiveness on representative bilevel tasks.

arxiv情報

著者 Sina Sharifi,Erfan Yazdandoost Hamedani,Mahyar Fazlyab
発行日 2025-05-20 17:35:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SY, eess.SY, math.OC | Sequential QCQP for Bilevel Optimization with Line Search はコメントを受け付けていません

Efficient Spatio-Temporal Signal Recognition on Edge Devices Using PointLCA-Net

投稿日: 2025年5月21日 作成者: jarxiv

要約

特にポイントネットなどの深い学習アーキテクチャを通じて、機械学習の最近の進歩により、3次元（3D）ポイントクラウドの処理が変換され、3Dオブジェクトの分類とセグメンテーションタスクが大幅に改善されました。
3Dポイントクラウドは詳細な空間情報を提供しますが、時空間信号は、時間の経過に伴う変化を説明する動的要素を導入します。
ただし、時空間信号に深い学習手法を適用し、それらをエッジデバイスに展開することは、リアルタイム処理、メモリ容量、消費電力などの課題を提示します。
これらの問題に対処するために、このペーパーでは、ポイントネットの特徴抽出と、時空間信号認識のための神経系システムのメモリコンピューティング機能とエネルギー効率を組み合わせた新しいアプローチを提示します。
提案された方法は、2段階のプロセスで構成されています。最初の段階では、ポイントネットは、時空間信号から特徴を抽出し、その後、不揮発性メモリスタクロスバーアレイに保存されます。
第2段階では、これらの機能は、効率的なエンコードと分類のためにローカル競合アルゴリズム（LCA）を使用する単一層スパイクニューラルエンコーダーデコーダーによって処理されます。
この作業は、ポイントネットとLCAの両方の強度を統合し、エッジデバイスでの計算効率とエネルギー性能を向上させます。
Pointlca-netは、匹敵するアプローチよりも推論とトレーニングの両方で大幅に低いエネルギー負担を伴う時空間データに対して高い認識精度を達成するため、エネルギーに基づいた環境での高度な神経アーキテクチャの展開を進めます。

要約(オリジナル)

Recent advancements in machine learning, particularly through deep learning architectures like PointNet, have transformed the processing of three-dimensional (3D) point clouds, significantly improving 3D object classification and segmentation tasks. While 3D point clouds provide detailed spatial information, spatio-temporal signals introduce a dynamic element that accounts for changes over time. However, applying deep learning techniques to spatio-temporal signals and deploying them on edge devices presents challenges, including real-time processing, memory capacity, and power consumption. To address these issues, this paper presents a novel approach that combines PointNet’s feature extraction with the in-memory computing capabilities and energy efficiency of neuromorphic systems for spatio-temporal signal recognition. The proposed method consists of a two-stage process: in the first stage, PointNet extracts features from the spatio-temporal signals, which are then stored in non-volatile memristor crossbar arrays. In the second stage, these features are processed by a single-layer spiking neural encoder-decoder that employs the Locally Competitive Algorithm (LCA) for efficient encoding and classification. This work integrates the strengths of both PointNet and LCA, enhancing computational efficiency and energy performance on edge devices. PointLCA-Net achieves high recognition accuracy for spatio-temporal data with substantially lower energy burden during both inference and training than comparable approaches, thus advancing the deployment of advanced neural architectures in energy-constrained environments.

arxiv情報

著者 Sanaz Mahmoodi Takaghaj
発行日 2025-05-20 17:41:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.ET, cs.LG | Efficient Spatio-Temporal Signal Recognition on Edge Devices Using PointLCA-Net はコメントを受け付けていません

Towards Explaining Deep Neural Network Compression Through a Probabilistic Latent Space

投稿日: 2025年5月21日 作成者: jarxiv

要約

深いニューラルネットワーク（DNNS）の印象的なパフォーマンスにもかかわらず、それらの計算の複雑さとストレージスペースの消費は、ネットワーク圧縮の概念につながりました。
剪定や低ランク分解などのDNN圧縮技術が広範囲に研究されていますが、理論的な説明には注意が不十分な注意が払われています。
この論文では、DNNウェイトの確率的潜在スペースを活用する新しい理論的枠組みを提案し、情報理論的発散測定を使用して最適なネットワークスパースを説明します。
DNNSの新しい類似の投影パターン（AP2）と類似のプロフの投影パターン（AP3）概念を導入し、ネットワーク内のレイヤーのAP3/AP2特性とそのパフォーマンスの間に関係が存在することを証明します。
さらに、圧縮ネットワークのトレーニングプロセスを説明する理論分析を提供します。
理論的結果は、CIFAR10およびCIFAR100データセットを使用して、ALEXNET、RESNET50、VGG16を含む標準の事前訓練を受けたベンチマークで実施された実験を通じて経験的に検証されます。
実験を通じて、AP3およびAP2特性と微調整された剪定DNNおよびスパースレベルとの関係を強調します。

要約(オリジナル)

Despite the impressive performance of deep neural networks (DNNs), their computational complexity and storage space consumption have led to the concept of network compression. While DNN compression techniques such as pruning and low-rank decomposition have been extensively studied, there has been insufficient attention paid to their theoretical explanation. In this paper, we propose a novel theoretical framework that leverages a probabilistic latent space of DNN weights and explains the optimal network sparsity by using the information-theoretic divergence measures. We introduce new analogous projected patterns (AP2) and analogous-in-probability projected patterns (AP3) notions for DNNs and prove that there exists a relationship between AP3/AP2 property of layers in the network and its performance. Further, we provide a theoretical analysis that explains the training process of the compressed network. The theoretical results are empirically validated through experiments conducted on standard pre-trained benchmarks, including AlexNet, ResNet50, and VGG16, using CIFAR10 and CIFAR100 datasets. Through our experiments, we highlight the relationship of AP3 and AP2 properties with fine-tuning pruned DNNs and sparsity levels.

arxiv情報

著者 Mahsa Mozafari-Nia,Salimeh Yasaei Sekeh
発行日 2025-05-20 17:50:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Towards Explaining Deep Neural Network Compression Through a Probabilistic Latent Space はコメントを受け付けていません