「stat.ML」カテゴリーアーカイブ

The Benefits of Reusing Batches for Gradient Descent in Two-Layer Networks: Breaking the Curse of Information and Leap Exponents

投稿日: 2024年2月6日 作成者: jarxiv

要約 多指数の目標関数を学習する際の2層ニューラルネットワークの学習ダイナミクス … 続きを読む →

カテゴリー: cs.LG, stat.ML | The Benefits of Reusing Batches for Gradient Descent in Two-Layer Networks: Breaking the Curse of Information and Leap Exponents はコメントを受け付けていません

Minimum Description Length and Generalization Guarantees for Representation Learning

投稿日: 2024年2月6日 作成者: jarxiv

要約 効率的な統計的教師付き学習アルゴリズムの設計における主要な課題は、利用可能 … 続きを読む →

カテゴリー: cs.IT, cs.LG, math.IT, stat.ML | Minimum Description Length and Generalization Guarantees for Representation Learning はコメントを受け付けていません

Learning Best-in-Class Policies for the Predict-then-Optimize Framework

投稿日: 2024年2月6日 作成者: jarxiv

要約 我々は、予測-最適化フレームワークのために、摂動勾配（PG）損失と呼ばれる … 続きを読む →

カテゴリー: cs.LG, math.OC, stat.ML | Learning Best-in-Class Policies for the Predict-then-Optimize Framework はコメントを受け付けていません

One Pass Streaming Algorithm for Super Long Token Attention Approximation in Sublinear Space

投稿日: 2024年2月6日 作成者: jarxiv

要約 アテンション計算は$O(n^2)$の時間複雑性と$O(n^2)$の空間複雑 … 続きを読む →

カテゴリー: cs.CL, cs.LG, stat.ML | One Pass Streaming Algorithm for Super Long Token Attention Approximation in Sublinear Space はコメントを受け付けていません

A Framework for Partially Observed Reward-States in RLHF

投稿日: 2024年2月6日 作成者: jarxiv

要約 人間のフィードバックからの強化学習（RLHF）の研究は、LLMの開発におけ … 続きを読む →

カテゴリー: cs.AI, cs.LG, stat.ML | A Framework for Partially Observed Reward-States in RLHF はコメントを受け付けていません

Flora: Low-Rank Adapters Are Secretly Gradient Compressors

投稿日: 2024年2月6日 作成者: jarxiv

要約 大規模なニューラルネットワークは、様々なタスクをこなす卓越した能力を示すに … 続きを読む →

カテゴリー: cs.AI, cs.LG, stat.ML | Flora: Low-Rank Adapters Are Secretly Gradient Compressors はコメントを受け付けていません

Ginger: An Efficient Curvature Approximation with Linear Complexity for General Neural Networks

投稿日: 2024年2月6日 作成者: jarxiv

要約 一般化ガウス・ニュートン法のような2次最適化アプローチは、前提条件行列を用 … 続きを読む →

カテゴリー: cs.AI, cs.LG, math.OC, stat.ML | Ginger: An Efficient Curvature Approximation with Linear Complexity for General Neural Networks はコメントを受け付けていません

Zero-Shot Machine Unlearning at Scale via Lipschitz Regularization

投稿日: 2024年2月6日 作成者: jarxiv

要約 AIやデータ規制を遵守するため、学習済みの機械学習モデルから個人情報や著作 … 続きを読む →

カテゴリー: cs.AI, cs.LG, stat.ML | Zero-Shot Machine Unlearning at Scale via Lipschitz Regularization はコメントを受け付けていません

Sliced-Wasserstein Estimation with Spherical Harmonics as Control Variates

投稿日: 2024年2月5日 作成者: jarxiv

要約 確率測度間のスライス・ワッサーシュタイン（SW）距離は、関連する一次元射影 … 続きを読む →

カテゴリー: 65C05, 68Txx, cs.LG, secondary, stat.ML | Sliced-Wasserstein Estimation with Spherical Harmonics as Control Variates はコメントを受け付けていません

Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency

投稿日: 2024年2月5日 作成者: jarxiv

要約 我々は、カーネルベースのバンディット最適化とも呼ばれる、ガウス過程モデルを … 続きを読む →

カテゴリー: cs.LG, stat.ML | Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency はコメントを受け付けていません