Fractal Graph Contrastive Learning

投稿日: 2025年5月19日 作成者: jarxiv

要約

グラフ対照学習（GCL）は、グラフの自己監視学習の分野でかなりの注目を集めていますが、そのパフォーマンスは、意味的に一貫したポジティブペアを生成すると予想されるデータ増強に大きく依存しています。
既存の戦略は通常、ランダムな摂動またはローカル構造の保存に頼りますが、増強されたビュー間のグローバルな構造一貫性に対する明示的な制御を欠いています。
この制限に対処するために、フラクタルグラフの対照学習（FractalgCL）を提案します。これは、グローバルなトポロジーコヒーレンスを実施するためにフラクタルの自己相似性を活用する理論主導の枠組みです。
FractalgClは、2つの重要な革新を導入します。ボックスカバーを介して構造的に整列した肯定的な見解を生成する繰り込みベースの増強。
そして、フラクタルの寸法に従ってグラフ埋め込みを整列させるフラクタル次元認識のコントラスト損失。
2つのイノベーションを組み合わせることで、グラフの表現品質が著しく向上しますが、非自明の計算オーバーヘッドも追加されます。
フラクタル寸法推定の計算オーバーヘッドを緩和するために、元のグラフとリノルマリー化グラフの寸法の矛盾が中心のガウス分布に弱く収束することを証明することにより、ワンショット推定器を導き出します。
この理論的洞察により、寸法計算コストを数桁削減し、全体的なトレーニング時間を約61％削減できます。
この実験は、FractalgCLが標準ベンチマークで最新の結果を提供するだけでなく、トラフィックネットワークの従来のベースラインを約7％の平均マージンで上回ることを示しています。
コードは（https://anonymous.4open.science/r/fractalgcl-0511）で入手できます。

要約(オリジナル)

While Graph Contrastive Learning (GCL) has attracted considerable attention in the field of graph self-supervised learning, its performance heavily relies on data augmentations that are expected to generate semantically consistent positive pairs. Existing strategies typically resort to random perturbations or local structure preservation, yet lack explicit control over global structural consistency between augmented views. To address this limitation, we propose Fractal Graph Contrastive Learning (FractalGCL), a theory-driven framework that leverages fractal self-similarity to enforce global topological coherence. FractalGCL introduces two key innovations: a renormalisation-based augmentation that generates structurally aligned positive views via box coverings; and a fractal-dimension-aware contrastive loss that aligns graph embeddings according to their fractal dimensions. While combining the two innovations markedly boosts graph-representation quality, it also adds non-trivial computational overhead. To mitigate the computational overhead of fractal dimension estimation, we derive a one-shot estimator by proving that the dimension discrepancy between original and renormalised graphs converges weakly to a centred Gaussian distribution. This theoretical insight enables a reduction in dimension computation cost by an order of magnitude, cutting overall training time by approximately 61%. The experiments show that FractalGCL not only delivers state-of-the-art results on standard benchmarks but also outperforms traditional baselines on traffic networks by an average margin of about remarkably 7%. Codes are available at (https://anonymous.4open.science/r/FractalGCL-0511).

arxiv情報

著者 Nero Z. Li,Xuehao Zhai,Zhichao Shi,Boshen Shi,Xuhui Jiang
発行日 2025-05-16 15:19:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Fractal Graph Contrastive Learning はコメントを受け付けていません

Analog Foundation Models

投稿日: 2025年5月19日 作成者: jarxiv

要約

アナログインメモリコンピューティング（AIMC）は、従来のフォンノイマンベースのアーキテクチャの限界を超えて、ニューラルネットワーク推論の速度と電力効率を改善するための有望な計算パラダイムです。
ただし、AIMCは、騒々しい計算や入出力の量子化に対する厳格な制約などの基本的な課題を導入します。
これらの制約と不正確さのため、既製のLLMは、AIMCベースのハードウェアに展開したときに4ビットレベルのパフォーマンスを達成することができません。
研究者は以前、小さな視覚ベースの小さなモデルでこの精度ギャップを回復することを調査しましたが、数兆トークンで事前に訓練されたLLMに適用される一般的な方法はまだ存在していません。
この作業では、騒々しい低精度のアナログハードウェアで実行するためにLLMSを堅牢に適応させるための一般的でスケーラブルな方法を導入します。
当社のアプローチにより、PHI-3-MINI-4K-INSTRUCTおよびLLAMA-3.2-1B-INSTRUCT $ \ UNICODE {X2013} $を含む最先端のモデル$ \ Unicode {x2013} $が可能になります。
さらに、トレーニング方法の副産物として、Analog Foundationモデルは、低精度のデジタルハードウェアへの推論のために量子化できることを示しています。
最後に、私たちのモデルは、テスト時間計算スケーリングの恩恵を受け、4ビット重量と8ビット静的入力量子化でトレーニングされたモデルよりも優れたスケーリング動作を示すことを示します。
私たちの作業は、大容量のLLMと効率的なアナログハードウェアとの間のギャップを橋渡しし、エネルギー効率の高い基礎モデルへの道を提供します。
コードはhttps://github.com/ibm/analog-foundation-modelsで入手できます。

要約(オリジナル)

Analog in-memory computing (AIMC) is a promising compute paradigm to improve speed and power efficiency of neural network inference beyond the limits of conventional von Neumann-based architectures. However, AIMC introduces fundamental challenges such as noisy computations and strict constraints on input and output quantization. Because of these constraints and imprecisions, off-the-shelf LLMs are not able to achieve 4-bit-level performance when deployed on AIMC-based hardware. While researchers previously investigated recovering this accuracy gap on small, mostly vision-based models, a generic method applicable to LLMs pre-trained on trillions of tokens does not yet exist. In this work, we introduce a general and scalable method to robustly adapt LLMs for execution on noisy, low-precision analog hardware. Our approach enables state-of-the-art models $\unicode{x2013}$ including Phi-3-mini-4k-instruct and Llama-3.2-1B-Instruct $\unicode{x2013}$ to retain performance comparable to 4-bit weight, 8-bit activation baselines, despite the presence of analog noise and quantization constraints. Additionally, we show that as a byproduct of our training methodology, analog foundation models can be quantized for inference on low-precision digital hardware. Finally, we show that our models also benefit from test-time compute scaling, showing better scaling behavior than models trained with 4-bit weight and 8-bit static input quantization. Our work bridges the gap between high-capacity LLMs and efficient analog hardware, offering a path toward energy-efficient foundation models. Code is available at https://github.com/IBM/analog-foundation-models.

arxiv情報

著者 Julian Büchel,Iason Chalas,Giovanni Acampa,An Chen,Omobayode Fagbohungbe,Sidney Tsai,Kaoutar El Maghraoui,Manuel Le Gallo,Abbas Rahimi,Abu Sebastian
発行日 2025-05-16 15:24:45+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Analog Foundation Models はコメントを受け付けていません

LGBQPC: Local Granular-Ball Quality Peaks Clustering

投稿日: 2025年5月19日 作成者: jarxiv

要約

密度ピーククラスタリング（DPC）アルゴリズムは、単純で効果的な仮定に基づいて、任意に形作られたクラスターを検出する能力にかなりの注目を集めています。
DPCとGranular-Ball（GB）コンピューティングを統合する最近の進歩により、GBベースのDPC（GBDPC）アルゴリズムが発生し、計算効率が向上しました。
ただし、GBDPCは、複雑なクラスタリングタスク、特に複雑なマニホールド構造または不均一密度分布を持つデータを含むタスクを処理する際の制限を示します。
これらの課題を克服するために、このペーパーでは、正当な粒度（POJG）の原理に基づいてGB生成とクラスタリングプロセスの両方でGBDPCの包括的な改善を提供するローカルGB品質のピーククラスタリング（LGBQPC）アルゴリズムを提案します。
第一に、GB-POJG+と呼ばれる改善されたGB生成法が開発され、4つの重要な側面で元のGB-POJGを体系的に改良します：目的関数、GB分裂の終了基準、異常なGBの定義、および粒度性レベル適応戦略。
GB-POJG+は、単一のペナルティ係数のみを必要とすることでパラメーター構成を簡素化し、許容範囲内で生成されたGBの数を維持しながら高品質のGB生成を保証します。
クラスタリングフェーズでは、GB k-nearest neightグラフに基づいて2つの重要な革新が導入されます。密度推定の相対GB品質と、GB距離メトリックの測地線距離です。
これらの変更は、複雑なマニホールド構造または非均一密度分布を備えたデータセット上のGBDPCのパフォーマンスを大幅に改善します。
合成データセットと公開データセットの両方を含む40のベンチマークデータセットでの広範な数値実験により、提案されたLGBQPCアルゴリズムの優れたパフォーマンスが検証されます。

要約(オリジナル)

The density peaks clustering (DPC) algorithm has attracted considerable attention for its ability to detect arbitrarily shaped clusters based on a simple yet effective assumption. Recent advancements integrating granular-ball (GB) computing with DPC have led to the GB-based DPC (GBDPC) algorithm, which improves computational efficiency. However, GBDPC demonstrates limitations when handling complex clustering tasks, particularly those involving data with complex manifold structures or non-uniform density distributions. To overcome these challenges, this paper proposes the local GB quality peaks clustering (LGBQPC) algorithm, which offers comprehensive improvements to GBDPC in both GB generation and clustering processes based on the principle of justifiable granularity (POJG). Firstly, an improved GB generation method, termed GB-POJG+, is developed, which systematically refines the original GB-POJG in four key aspects: the objective function, termination criterion for GB division, definition of abnormal GB, and granularity level adaptation strategy. GB-POJG+ simplifies parameter configuration by requiring only a single penalty coefficient and ensures high-quality GB generation while maintaining the number of generated GBs within an acceptable range. In the clustering phase, two key innovations are introduced based on the GB k-nearest neighbor graph: relative GB quality for density estimation and geodesic distance for GB distance metric. These modifications substantially improve the performance of GBDPC on datasets with complex manifold structures or non-uniform density distributions. Extensive numerical experiments on 40 benchmark datasets, including both synthetic and publicly available datasets, validate the superior performance of the proposed LGBQPC algorithm.

arxiv情報

著者 Zihang Jia,Zhen Zhang,Witold Pedrycz
発行日 2025-05-16 15:26:02+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | LGBQPC: Local Granular-Ball Quality Peaks Clustering はコメントを受け付けていません

Efficient End-to-End Learning for Decision-Making: A Meta-Optimization Approach

投稿日: 2025年5月19日 作成者: jarxiv

要約

エンドツーエンドの学習は、下流の意思決定タスクへの影響を認識するために、予測MLモデルをトレーニングする際に広く適用可能であり、研究された問題になりました。
これらのエンドツーエンドモデルは、トレーニングを最適化から分離する従来の方法よりも優れていることが多く、予測エラーに近視的に焦点を当てています。
ただし、エンドツーエンドのフレームワークの計算の複雑さは、特に大規模な問題について、重要な課題をもたらします。
勾配降下を使用してMLモデルをトレーニングしている間、勾配を計算する必要があるたびに、高価な最適化問題を解決する必要があります。
最適化の問題を近似する効率的なアルゴリズムを学習するメタ最適化方法を提示し、意思決定問題を解決する計算オーバーヘッドを劇的に削減します。
私たちのアプローチでは、最適化の問題をほぼ最適に解決しながら、代替予測を通じて実現可能性の制約を確保するニューラルネットワークアーキテクチャを紹介します。
学習方法の指数関数的収束、近似保証、および一般化の境界を証明します。
この方法は、優れた計算効率を提供し、既存の手法と比較して問題サイズで高品質の近似をより速く、スケーリングします。
私たちのアプローチは、決定論的、単一ステージ、2段階の確率的最適化の問題を含む、幅広い最適化の問題に適用されます。
提案された方法が、（1）13州全体で電力の動きを調整する電力ルーティング会社からの実際のデータを使用した発電の問題にどのように適用されるかを説明します。

要約(オリジナル)

End-to-end learning has become a widely applicable and studied problem in training predictive ML models to be aware of their impact on downstream decision-making tasks. These end-to-end models often outperform traditional methods that separate training from the optimization and only myopically focus on prediction error. However, the computational complexity of end-to-end frameworks poses a significant challenge, particularly for large-scale problems. While training an ML model using gradient descent, each time we need to compute a gradient we must solve an expensive optimization problem. We present a meta-optimization method that learns efficient algorithms to approximate optimization problems, dramatically reducing computational overhead of solving the decision problem in general, an aspect we leverage in the training within the end-to-end framework. Our approach introduces a neural network architecture that near-optimally solves optimization problems while ensuring feasibility constraints through alternate projections. We prove exponential convergence, approximation guarantees, and generalization bounds for our learning method. This method offers superior computational efficiency, producing high-quality approximations faster and scaling better with problem size compared to existing techniques. Our approach applies to a wide range of optimization problems including deterministic, single-stage as well as two-stage stochastic optimization problems. We illustrate how our proposed method applies to (1) an electricity generation problem using real data from an electricity routing company coordinating the movement of electricity throughout 13 states, (2) a shortest path problem with a computer vision task of predicting edge costs from terrain maps, (3) a two-stage multi-warehouse cross-fulfillment newsvendor problem, as well as a variety of other newsvendor-like problems.

arxiv情報

著者 Rares Cristian,Pavithra Harsha,Georgia Perakis,Brian Quanz
発行日 2025-05-16 15:27:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Efficient End-to-End Learning for Decision-Making: A Meta-Optimization Approach はコメントを受け付けていません

Learning Multimodal AI Algorithms for Amplifying Limited User Input into High-dimensional Control Space

投稿日: 2025年5月19日 作成者: jarxiv

要約

現在の侵襲的支援技術は、ひどく麻痺した患者からの高次元運動制御信号を推測するように設計されています。
しかし、彼らは、国民の受け入れ、限られた長寿、商業化に対する障壁など、大きな課題に直面しています。
一方、非侵襲的な代替品は、しばしばアーティファクトを起こしやすいシグナルに依存し、長いユーザートレーニングを必要とし、器用なタスクに堅牢な高次元制御を提供するのに苦労します。
これらの問題に対処するために、この研究では、重度の麻痺の患者が制限されたロボットアームなどの高次元ロボットアームなどの高次元の支援装置を制御できる潜在的に、限られたロボット装置と非侵襲的入力を使用できるようにする可能性のある失われた運動機能のインテリジェントな代償メカニズムとして、新しいヒト中心のマルチモーダルAIアプローチを紹介します。
現在の最先端の（SOTA）非侵襲的アプローチとは対照的に、私たちのコンテキストに対応するマルチモーダル共有のフレームワークは、深い強化学習アルゴリズムを統合して、リアルタイムの環境認識と限られた低次元ユーザーの入力を統合し、適応、動的、および魅力的なタスキングなどの人間の魅力的な魅力の魅力のインテリジェント解釈を可能にします。
50,000を超えるコンピューターシミュレーションエピソードを合成ユーザーと訓練したARAS（共有自律性の限られた入力の増幅のための適応補強学習）の結果は、提案された閉ループのヒューマンインザループパラダイムの最初の成功した実装を実証し、SOTA共有自律自律アルゴリズムを上回ることを実証しました。
ゼロショットSIMからリアルへの転送に続いて、ARASは23人のヒト被験者について評価され、動的な意図検出の高精度と、器用なピックアンドプレイスタスクの滑らかで安定した3D軌道制御を示しました。
ARASユーザー調査は92.88％の高いタスク成功率を達成し、短い完了時間はSOTA侵襲的支援技術のものに匹敵します。

要約(オリジナル)

Current invasive assistive technologies are designed to infer high-dimensional motor control signals from severely paralyzed patients. However, they face significant challenges, including public acceptance, limited longevity, and barriers to commercialization. Meanwhile, noninvasive alternatives often rely on artifact-prone signals, require lengthy user training, and struggle to deliver robust high-dimensional control for dexterous tasks. To address these issues, this study introduces a novel human-centered multimodal AI approach as intelligent compensatory mechanisms for lost motor functions that could potentially enable patients with severe paralysis to control high-dimensional assistive devices, such as dexterous robotic arms, using limited and noninvasive inputs. In contrast to the current state-of-the-art (SoTA) noninvasive approaches, our context-aware, multimodal shared-autonomy framework integrates deep reinforcement learning algorithms to blend limited low-dimensional user input with real-time environmental perception, enabling adaptive, dynamic, and intelligent interpretation of human intent for complex dexterous manipulation tasks, such as pick-and-place. The results from our ARAS (Adaptive Reinforcement learning for Amplification of limited inputs in Shared autonomy) trained with synthetic users over 50,000 computer simulation episodes demonstrated the first successful implementation of the proposed closed-loop human-in-the-loop paradigm, outperforming the SoTA shared autonomy algorithms. Following a zero-shot sim-to-real transfer, ARAS was evaluated on 23 human subjects, demonstrating high accuracy in dynamic intent detection and smooth, stable 3D trajectory control for dexterous pick-and-place tasks. ARAS user study achieved a high task success rate of 92.88%, with short completion times comparable to those of SoTA invasive assistive technologies.

arxiv情報

著者 Ali Rabiee,Sima Ghafoori,MH Farhadi,Robert Beyer,Xiangyu Bai,David J Lin,Sarah Ostadabbas,Reza Abiri
発行日 2025-05-16 15:31:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.HC, cs.LG, cs.RO, cs.SY, eess.SY | Learning Multimodal AI Algorithms for Amplifying Limited User Input into High-dimensional Control Space はコメントを受け付けていません

Understanding Nonlinear Implicit Bias via Region Counts in Input Space

投稿日: 2025年5月19日 作成者: jarxiv

要約

ニューラルネットワークの強力な一般化能力の1つの説明は、暗黙的なバイアスです。
しかし、非線形コンテキストにおける暗黙のバイアスの定義とメカニズムはほとんど理解されていません。
この作業では、同じ予測ラベルを持つ入力空間内の接続領域の数によって暗黙のバイアスを特徴付けることを提案します。
パラメーター依存のメトリック（たとえば、ノルムまたは正規化されたマージン）と比較して、領域数は、関数マッピングによって決定され、reparametrizationに不変であるため、非線形のオーバーパラム化モデルによりよく適合させることができます。
経験的には、小さな領域数が幾何学的に単純な決定境界と整合し、優れた一般化パフォーマンスとよく相関することがわかりました。
また、より大きな学習率やバッチサイズが小さいなど、優れたハイパーパラメーターの選択肢が小さな領域数を誘導する可能性があることも観察します。
さらに、理論的なつながりを確立し、学習率が大きくなるとニューラルネットワークの小さな領域数を誘導することができることを説明します。

要約(オリジナル)

One explanation for the strong generalization ability of neural networks is implicit bias. Yet, the definition and mechanism of implicit bias in non-linear contexts remains little understood. In this work, we propose to characterize implicit bias by the count of connected regions in the input space with the same predicted label. Compared with parameter-dependent metrics (e.g., norm or normalized margin), region count can be better adapted to nonlinear, overparameterized models, because it is determined by the function mapping and is invariant to reparametrization. Empirically, we found that small region counts align with geometrically simple decision boundaries and correlate well with good generalization performance. We also observe that good hyper-parameter choices such as larger learning rates and smaller batch sizes can induce small region counts. We further establish the theoretical connections and explain how larger learning rate can induce small region counts in neural networks.

arxiv情報

著者 Jingwei Li,Jing Xu,Zifan Wang,Huishuai Zhang,Jingzhao Zhang
発行日 2025-05-16 15:34:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Understanding Nonlinear Implicit Bias via Region Counts in Input Space はコメントを受け付けていません

Anti-aliasing of neural distortion effects via model fine tuning

投稿日: 2025年5月19日 作成者: jarxiv

要約

ニューラルネットワークは、近年ギターの歪み効果モデリングで遍在しています。
知覚的に説得力のあるモデルを生成する能力にもかかわらず、高頻度と高ゲインの入力によって駆動されると、周波数エイリアシングの影響を受けやすくなります。
非線形活性化関数は、信号の帯域幅がナイキスト周波数を超えて拡張されるため、目的の高調波歪みと不要なエイリアシング歪みの両方を作成します。
ここでは、教師が体重を凍結した事前に訓練されたモデルであり、学生は学習可能なパラメーターを備えたコピーである教師の学生の微調整アプローチを介して、神経モデルのエイリアシングを減らす方法を提示します。
学生は、元のモデルに正弦波を渡し、出力スペクトルから非調和コンポーネントを削除することにより生成されたエイリアシングフリーのデータセットに対して微調整されます。
我々の結果は、この方法が、長期タームメモリネットワーク（LSTM）と時間的畳み込みネットワーク（TCN）の両方のエイリアシングを大幅に抑制することを示しています。
私たちのケーススタディの大部分では、エイリアシングの減少は、2倍のオーバーサンプリングによって達成されたものよりも大きかった。
提案された方法の副作用の1つは、高調波歪み成分も影響を受けることです。
この悪影響はモデル依存であることがわかっており、LSTMモデルは、アナログ参照デバイスとの類似性を拡張し、保存するための最良のバランスをとっています。

要約(オリジナル)

Neural networks have become ubiquitous with guitar distortion effects modelling in recent years. Despite their ability to yield perceptually convincing models, they are susceptible to frequency aliasing when driven by high frequency and high gain inputs. Nonlinear activation functions create both the desired harmonic distortion and unwanted aliasing distortion as the bandwidth of the signal is expanded beyond the Nyquist frequency. Here, we present a method for reducing aliasing in neural models via a teacher-student fine tuning approach, where the teacher is a pre-trained model with its weights frozen, and the student is a copy of this with learnable parameters. The student is fine-tuned against an aliasing-free dataset generated by passing sinusoids through the original model and removing non-harmonic components from the output spectra. Our results show that this method significantly suppresses aliasing for both long-short-term-memory networks (LSTM) and temporal convolutional networks (TCN). In the majority of our case studies, the reduction in aliasing was greater than that achieved by two times oversampling. One side-effect of the proposed method is that harmonic distortion components are also affected. This adverse effect was found to be model-dependent, with the LSTM models giving the best balance between anti-aliasing and preserving the perceived similarity to an analog reference device.

arxiv情報

著者 Alistair Carson,Alec Wright,Stefan Bilbao
発行日 2025-05-16 15:40:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, eess.AS, eess.SP | Anti-aliasing of neural distortion effects via model fine tuning はコメントを受け付けていません

Machine Learning Approaches to Vocal Register Classification in Contemporary Male Pop Music

投稿日: 2025年5月19日 作成者: jarxiv

要約

すべての経験レベルの歌手にとって、技術的なレパートリーを学ぶ際の最も困難な課題の1つは、パッサジオとその周辺での配置と声レジスタ（胸の声と頭の声の登録の通過）をナビゲートすることです。
特にポップミュージックでは、シングルアーティストがさまざまな音色とテクスチャを使用して望ましい品質を実現することができるため、シンガーが使用しているボーカル範囲内のボーカルレジスタを特定することは困難です。
このホワイトペーパーでは、メルスペクトグラム画像のテクスチャー特徴の分析を通じて、男性のポップミュージックの音声信号にボーカルレジスタを分類するための2つの方法を紹介します。
さらに、ボーカル分析ツールのこれらのモデルの実用的な統合について説明し、自動ボーカルレジスタ分析を略するAVRAと呼ばれる同時に開発されたソフトウェアを導入します。
提案された方法は、サポートベクターマシン（SVM）と畳み込みニューラルネットワーク（CNN）モデルの両方を介してボーカルレジスタの一貫した分類を達成しました。

要約(オリジナル)

For singers of all experience levels, one of the most daunting challenges in learning technical repertoire is navigating placement and vocal register in and around the passagio (passage between chest voice and head voice registers). Particularly in pop music, where a single artist may use a variety of timbre’s and textures to achieve a desired quality, it can be difficult to identify what vocal register within the vocal range a singer is using. This paper presents two methods for classifying vocal registers in an audio signal of male pop music through the analysis of textural features of mel-spectrogram images. Additionally, we will discuss the practical integration of these models for vocal analysis tools, and introduce a concurrently developed software called AVRA which stands for Automatic Vocal Register Analysis. Our proposed methods achieved consistent classification of vocal register through both Support Vector Machine (SVM) and Convolutional Neural Network (CNN) models, which supports the promise of more robust classification possibilities across more voice types and genres of singing.

arxiv情報

著者 Alexander Kim,Charlotte Botha
発行日 2025-05-16 15:41:28+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.SD, eess.AS | Machine Learning Approaches to Vocal Register Classification in Contemporary Male Pop Music はコメントを受け付けていません

On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift

投稿日: 2025年5月19日 作成者: jarxiv

要約

分類器のトレーニングに使用されるデータの分布は、テストデータの分布、つまりデータセットシフトの下で、分類器の決定スコアを調整するための定評のあるルーチン、テストサンプルの正の割合の推定、または分類子の精度の推定のための定評のあるルーチンが特に困難になります。
このペーパーでは、データセットシフト条件下での3つの基本的な問題、キャリブレーション、定量化、および分類器の精度予測の相互接続を調査します。
具体的には、相互の削減を通じてそれらの同等性を証明します。つまり、これらのタスクのいずれかのOracleへのアクセスにより、他の2つの解像度が可能になることを示しています。
これらの証明に基づいて、他の分野から借用した定評のある方法の直接的な適応に基づいて、各問題の新しい方法を提案します。
私たちの結果は、そのような方法がしばしば競争力があり、時には各分野からの専用のアプローチのパフォーマンスを上回ることさえあることを示しています。
この論文の主な目標は、これらの研究分野の間で相互受精を促進し、統一されたアプローチの開発を促進し、フィールド全体の相乗効果を促進することです。

要約(オリジナル)

When the distribution of the data used to train a classifier differs from that of the test data, i.e., under dataset shift, well-established routines for calibrating the decision scores of the classifier, estimating the proportion of positives in a test sample, or estimating the accuracy of the classifier, become particularly challenging. This paper investigates the interconnections among three fundamental problems, calibration, quantification, and classifier accuracy prediction, under dataset shift conditions. Specifically, we prove their equivalence through mutual reduction, i.e., we show that access to an oracle for any one of these tasks enables the resolution of the other two. Based on these proofs, we propose new methods for each problem based on direct adaptations of well-established methods borrowed from the other disciplines. Our results show such methods are often competitive, and sometimes even surpass the performance of dedicated approaches from each discipline. The main goal of this paper is to fostering cross-fertilization among these research areas, encouraging the development of unified approaches and promoting synergies across the fields.

arxiv情報

著者 Alejandro Moreo
発行日 2025-05-16 15:42:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | On the Interconnections of Calibration, Quantification, and Classifier Accuracy Prediction under Dataset Shift はコメントを受け付けていません

The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems

投稿日: 2025年5月19日 作成者: jarxiv

要約

業界規模の推奨システムは、コアの課題に直面しています。ユーザーやアイテムなど、高いカーディナリティを持つエンティティを表現し、トレーニングと推論の両方でアクセスできる密な埋め込みを使用します。
ただし、埋め込みサイズが大きくなると、メモリの制約により、ストレージとアクセスがますます困難になります。
密な埋め込みを高次元のまばらに活性化した空間に投影する軽量で学習可能な埋め込み圧縮技術について説明します。
検索タスク用に設計されたこの方法は、検索パフォーマンスを維持しながらメモリ要件を削減し、厳格なリソースの制約の下でスケーラブルな展開を可能にします。
私たちの結果は、スパースを活用することが、大規模な推奨者の効率を改善するための有望なアプローチであることを示しています。
https://github.com/recombee/compressaeでコードをリリースします。

要約(オリジナル)

Industry-scale recommender systems face a core challenge: representing entities with high cardinality, such as users or items, using dense embeddings that must be accessible during both training and inference. However, as embedding sizes grow, memory constraints make storage and access increasingly difficult. We describe a lightweight, learnable embedding compression technique that projects dense embeddings into a high-dimensional, sparsely activated space. Designed for retrieval tasks, our method reduces memory requirements while preserving retrieval performance, enabling scalable deployment under strict resource constraints. Our results demonstrate that leveraging sparsity is a promising approach for improving the efficiency of large-scale recommenders. We release our code at https://github.com/recombee/CompresSAE.

arxiv情報

著者 Petr Kasalický,Martin Spišák,Vojtěch Vančura,Daniel Bohuněk,Rodrigo Alves,Pavel Kordík
発行日 2025-05-16 15:51:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.IR, cs.LG | The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems はコメントを受け付けていません