Adversaries With Incentives: A Strategic Alternative to Adversarial Robustness

投稿日: 2025年2月25日 作成者: jarxiv

要約

敵対的な訓練は、 *敵対者 *を防御することを目的としています。その唯一の目的は、可能な限り予測パフォーマンスを害することを目的としています。
代わりに、分類器に対して直接作業するのではなく、単に自分の目標を追求するものとして相手をモデル化することを提案します。
戦略的モデリングからツールを採用すると、私たちのアプローチは、学習のための帰納的バイアスとして、相手の可能性のあるインセンティブに関する知識または信念を使用します。
*戦略的トレーニング *の方法は、 *インセンティブの不確実性セット *内で対戦相手を防御するように設計されています *：このセットが最大である場合、この敵対的な学習に頼りますが、適切に減少すると潜在的な利益を提供します。
敵のインセンティブに関する軽度の知識でさえ、潜在的な利益の程度が学習タスクの構造にどのように関連するかに依存することを示す一連の実験を実施します。

要約(オリジナル)

Adversarial training aims to defend against *adversaries*: malicious opponents whose sole aim is to harm predictive performance in any way possible – a rather harsh perspective, which we assert results in unnecessarily conservative models. Instead, we propose to model opponents as simply pursuing their own goals, rather than working directly against the classifier. Employing tools from strategic modeling, our approach uses knowledge or beliefs regarding the opponent’s possible incentives as inductive bias for learning. Our method of *strategic training* is designed to defend against opponents within an *incentive uncertainty set*: this resorts to adversarial learning when the set is maximal, but offers potential gains when it can be appropriately reduced. We conduct a series of experiments that show how even mild knowledge regarding the adversary’s incentives can be useful, and that the degree of potential gains depends on how incentives relate to the structure of the learning task.

arxiv情報

著者 Maayan Ehrenberg,Roy Ganz,Nir Rosenfeld
発行日 2025-02-24 18:14:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.GT, cs.LG | Adversaries With Incentives: A Strategic Alternative to Adversarial Robustness はコメントを受け付けていません

Three-in-One: Fast and Accurate Transducer for Hybrid-Autoregressive ASR

投稿日: 2025年2月25日 作成者: jarxiv

要約

トークンアンドデュレーショントランスデューサー（TDT）モデルを拡張する音声認識のための新しいアーキテクチャであるハイブリッドオートレーフの推論トランスデューサー（HAINAN）を提示します。
ランダムにマスクされた予測因子ネットワーク出力でトレーニングされたHainanは、すべてのネットワークコンポーネントとの自己回帰推論と、予測因子なしでは非自動性推論の両方をサポートしています。
さらに、最初に非自動性推論を使用して初期仮説を生成する新しい半自動性推論パラダイムを提案し、その後、各トークン予測が初期仮説の並列化された自己回復を使用して再生される改良ステップが続きます。
異なる言語の複数のデータセットでの実験は、海南が非自動網性モードでCTC、および自己回帰モードでTDTを使用して効率性パリティを達成することを示しています。
精度の点では、自己回帰の海南はTDTとRNN-Tを上回りますが、非自動性格納はCTCを大幅に上回ります。
半自動格付けの推論は、最小限の計算オーバーヘッドでモデルの精度をさらに強化し、場合によってはTDTの結果を上回ることさえあります。
これらの結果は、正確性と速度のバランスをとる上の柔軟性を強調し、それを現実世界の音声認識アプリケーションの強力な候補として位置づけています。

要約(オリジナル)

We present Hybrid-Autoregressive INference TrANsducers (HAINAN), a novel architecture for speech recognition that extends the Token-and-Duration Transducer (TDT) model. Trained with randomly masked predictor network outputs, HAINAN supports both autoregressive inference with all network components and non-autoregressive inference without the predictor. Additionally, we propose a novel semi-autoregressive inference paradigm that first generates an initial hypothesis using non-autoregressive inference, followed by refinement steps where each token prediction is regenerated using parallelized autoregression on the initial hypothesis. Experiments on multiple datasets across different languages demonstrate that HAINAN achieves efficiency parity with CTC in non-autoregressive mode and with TDT in autoregressive mode. In terms of accuracy, autoregressive HAINAN outperforms TDT and RNN-T, while non-autoregressive HAINAN significantly outperforms CTC. Semi-autoregressive inference further enhances the model’s accuracy with minimal computational overhead, and even outperforms TDT results in some cases. These results highlight HAINAN’s flexibility in balancing accuracy and speed, positioning it as a strong candidate for real-world speech recognition applications.

arxiv情報

著者 Hainan Xu,Travis M. Bartley,Vladimir Bataev,Boris Ginsburg
発行日 2025-02-24 18:15:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Three-in-One: Fast and Accurate Transducer for Hybrid-Autoregressive ASR はコメントを受け付けていません

Function-Space Learning Rates

投稿日: 2025年2月25日 作成者: jarxiv

要約

パラメーターテンソルの更新に応じて、ニューラルネットワークの出力関数の変化の大きさを測定するレイヤーワイズ関数スペース学習レートを検討します。
これは、パラメーター空間の変化の大きさを説明する従来の学習率とは対照的です。
任意のニューラルネットワークで機能空間学習率を測定および設定する効率的な方法を開発し、トレーニング中または定期的に実行できるいくつかの追加の後方パスを介して最小限の計算オーバーヘッドのみを必要とします。
2つの重要なアプリケーションを示します。（1）パラメーター空間ではなく、関数空間での標準的なニューラルネットワークオプティマイザーのダイナミクスの分析、および（2）モデルスケール全体のハイパーパラメーター転送への新しいアプローチであるフレーム（関数空間学習速度マッチング）を導入する
。
FLERMを記録し、小規模で安価なベースモデルをトレーニングしながら機能空間学習レートを記録し、一貫した機能空間の更新を維持するために大きなモデルをトレーニングするときに、パラメーター空間のレイヤーワイズ学習レートを自動的に調整します。
フレームは、モデルの幅、深さ、初期化スケール、およびLORAランクを越えてハイパーパラメーターの転送を提供し、さまざまな接続を備えたMLPやさまざまな層正規化スキームを持つ変圧器を含むさまざまなアーキテクチャでランクを与えます。

要約(オリジナル)

We consider layerwise function-space learning rates, which measure the magnitude of the change in a neural network’s output function in response to an update to a parameter tensor. This contrasts with traditional learning rates, which describe the magnitude of changes in parameter space. We develop efficient methods to measure and set function-space learning rates in arbitrary neural networks, requiring only minimal computational overhead through a few additional backward passes that can be performed at the start of, or periodically during, training. We demonstrate two key applications: (1) analysing the dynamics of standard neural network optimisers in function space, rather than parameter space, and (2) introducing FLeRM (Function-space Learning Rate Matching), a novel approach to hyperparameter transfer across model scales. FLeRM records function-space learning rates while training a small, cheap base model, then automatically adjusts parameter-space layerwise learning rates when training larger models to maintain consistent function-space updates. FLeRM gives hyperparameter transfer across model width, depth, initialisation scale, and LoRA rank in various architectures including MLPs with residual connections and transformers with different layer normalisation schemes.

arxiv情報

著者 Edward Milsom,Ben Anson,Laurence Aitchison
発行日 2025-02-24 18:31:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Function-Space Learning Rates はコメントを受け付けていません

Random Latent Exploration for Deep Reinforcement Learning

投稿日: 2025年2月25日 作成者: jarxiv

要約

強化学習（RL）におけるシンプルで効果的な探索戦略であるランダム潜在探査（RLE）を紹介します。
平均して、RLEはエージェントのアクションを混乱させるノイズベースの方法と、新しい行動を試みるためにエージェントに報いるボーナスベースの探査を上回ります。
RLEの中心的なアイデアは、潜在的な空間でランダムにサンプリングされた目標を追求することにより、エージェントが環境のさまざまな部分を探索することを奨励することです。
RLEは、複雑なボーナス計算を回避しますが、ボーナスベースの方法の深い探査の利点を保持するため、ノイズベースの方法と同じくらい簡単です。
私たちの実験は、RLEが離散（ATARIなど）と連続制御タスク（ISAACジムなど）の両方で平均してパフォーマンスを向上させ、既存のRLアルゴリズムのシンプルで一般的なプラグインを維持しながら探索を強化することを示しています。

要約(オリジナル)

We introduce Random Latent Exploration (RLE), a simple yet effective exploration strategy in reinforcement learning (RL). On average, RLE outperforms noise-based methods, which perturb the agent’s actions, and bonus-based exploration, which rewards the agent for attempting novel behaviors. The core idea of RLE is to encourage the agent to explore different parts of the environment by pursuing randomly sampled goals in a latent space. RLE is as simple as noise-based methods, as it avoids complex bonus calculations but retains the deep exploration benefits of bonus-based methods. Our experiments show that RLE improves performance on average in both discrete (e.g., Atari) and continuous control tasks (e.g., Isaac Gym), enhancing exploration while remaining a simple and general plug-in for existing RL algorithms.

arxiv情報

著者 Srinath Mahankali,Zhang-Wei Hong,Ayush Sekhari,Alexander Rakhlin,Pulkit Agrawal
発行日 2025-02-24 18:35:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Random Latent Exploration for Deep Reinforcement Learning はコメントを受け付けていません

COSMOS: A Hybrid Adaptive Optimizer for Memory-Efficient Training of LLMs

投稿日: 2025年2月25日 作成者: jarxiv

要約

大規模な言語モデル（LLM）は、さまざまなドメインで顕著な成功を示していますが、彼らが住んでいる複雑で高次元の損失の状況により、それらの最適化は依然として重要な課題です。
ADAMWなどの適応型オプティマイザーは広く使用されていますが、座標と高いメモリ消費との間の相互依存関係を捉えることができないなど、重大な制限に苦しんでいます。
SOAPによって例示されるその後の研究は、相互依存をよりよく捕捉しようとする試みを試みますが、メモリオーバーヘッドが大きくなり、大規模なLLMのスケーラビリティが制限されます。
別のアプローチは、低次元投影を通じてメモリの消費を減らすことを目的としていますが、これは実質的な近似誤差につながり、効果的な最適化（たとえば、トークンあたりの効率の点で）になります。
この論文では、最適化パフォーマンスを損なうことなくメモリ効率を実現するために、グラデーションマトリックス内のEigensubspacesのさまざまな重要性を活用する新しいハイブリッドオプティマイザーであるCosmosを提案します。
コスモスのデザインは、私たちの経験的洞察と実際的な考慮事項によって動機付けられています。
具体的には、COSMOSは、主要な最適化ダイナミクスをキャプチャする主要なEigensubspaceに石鹸を適用し、Muonは残りのEigensubspaceに適用します。
このハイブリッド戦略は、堅牢な最適化パフォーマンスを維持しながら、メモリ消費を大幅に削減し、大規模なLLMに特に適しています。
宇宙の有効性を実証するために、さまざまなデータセットと変圧器アーキテクチャでの数値実験が提供されています。
私たちのコードは、https：//github.com/lliu606/cosmosで入手できます。

要約(オリジナル)

Large Language Models (LLMs) have demonstrated remarkable success across various domains, yet their optimization remains a significant challenge due to the complex and high-dimensional loss landscapes they inhabit. While adaptive optimizers such as AdamW are widely used, they suffer from critical limitations, including an inability to capture interdependencies between coordinates and high memory consumption. Subsequent research, exemplified by SOAP, attempts to better capture coordinate interdependence but incurs greater memory overhead, limiting scalability for massive LLMs. An alternative approach aims to reduce memory consumption through low-dimensional projection, but this leads to substantial approximation errors, resulting in less effective optimization (e.g., in terms of per-token efficiency). In this paper, we propose COSMOS, a novel hybrid optimizer that leverages the varying importance of eigensubspaces in the gradient matrix to achieve memory efficiency without compromising optimization performance. The design of COSMOS is motivated by our empirical insights and practical considerations. Specifically, COSMOS applies SOAP to the leading eigensubspace, which captures the primary optimization dynamics, and MUON to the remaining eigensubspace, which is less critical but computationally expensive to handle with SOAP. This hybrid strategy significantly reduces memory consumption while maintaining robust optimization performance, making it particularly suitable for massive LLMs. Numerical experiments on various datasets and transformer architectures are provided to demonstrate the effectiveness of COSMOS. Our code is available at https://github.com/lliu606/COSMOS.

arxiv情報

著者 Liming Liu,Zhenghao Xu,Zixuan Zhang,Hao Kang,Zichong Li,Chen Liang,Weizhu Chen,Tuo Zhao
発行日 2025-02-24 18:42:19+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | COSMOS: A Hybrid Adaptive Optimizer for Memory-Efficient Training of LLMs はコメントを受け付けていません

Compactly-supported nonstationary kernels for computing exact Gaussian processes on big data

投稿日: 2025年2月25日 作成者: jarxiv

要約

ガウスプロセス（GP）は、確率的関数近似、確率モデリング、および非線形プロセスの実際の測定の分析のための暗黙の不確実性の特性評価を備えた広く使用されている確率的機械学習方法です。
GPSの従来の実装には、柔軟性を制限する固定核（共分散関数とも呼ばれる）と、約1万ポイント以上のデータセットへの適用を防ぐ推論の正確な方法が含まれます。
定常性の仮定に対処するための最新のアプローチは、一般に大規模なデータセットに対応できませんが、スケーラビリティに対処しようとするすべての試みは、主観性を伴い、不正確さにつながる可能性のあるガウスの尤度を近似することに焦点を当てています。
この作業では、スパース性と非定常性の両方を発見およびエンコードできる代替カーネルを明示的に導き出します。
完全にベイジアンGPモデルにカーネルを埋め込み、高性能コンピューティングリソースを活用して、大規模なデータセットの分析を可能にしました。
さまざまな合成データの例にわたって、既存の正確および近似のGPメソッドと比較して、私たちの新しいカーネルの好ましい性能を示します。
さらに、毎日の最高気温の100万件以上の測定に基づいて時空予測を実施し、結果が地球科学の最先端の方法よりも優れていることを確認します。
さらに広く言えば、超スケーラブルでスパースディスコーブしている非定常カーネルを使用する正確なGPにアクセスできるため、GPメソッドはさまざまな機械学習方法と真に競合することができます。

要約(オリジナル)

The Gaussian process (GP) is a widely used probabilistic machine learning method with implicit uncertainty characterization for stochastic function approximation, stochastic modeling, and analyzing real-world measurements of nonlinear processes. Traditional implementations of GPs involve stationary kernels (also termed covariance functions) that limit their flexibility, and exact methods for inference that prevent application to data sets with more than about ten thousand points. Modern approaches to address stationarity assumptions generally fail to accommodate large data sets, while all attempts to address scalability focus on approximating the Gaussian likelihood, which can involve subjectivity and lead to inaccuracies. In this work, we explicitly derive an alternative kernel that can discover and encode both sparsity and nonstationarity. We embed the kernel within a fully Bayesian GP model and leverage high-performance computing resources to enable the analysis of massive data sets. We demonstrate the favorable performance of our novel kernel relative to existing exact and approximate GP methods across a variety of synthetic data examples. Furthermore, we conduct space-time prediction based on more than one million measurements of daily maximum temperature and verify that our results outperform state-of-the-art methods in the Earth sciences. More broadly, having access to exact GPs that use ultra-scalable, sparsity-discovering, nonstationary kernels allows GP methods to truly compete with a wide variety of machine learning methods.

arxiv情報

著者 Mark D. Risser,Marcus M. Noack,Hengrui Luo,Ronald Pandolfi
発行日 2025-02-24 18:43:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.AP, stat.CO, stat.ME, stat.ML | Compactly-supported nonstationary kernels for computing exact Gaussian processes on big data はコメントを受け付けていません

S4S: Solving for a Diffusion Model Solver

投稿日: 2025年2月25日 作成者: jarxiv

要約

拡散モデル（DMS）は、ランダムノイズから起動し、逆タイムの通常の微分方程式（ODE）を繰り返し解くことにより、データ分布からサンプルを作成します。
反復ソリューションの各ステップには高価な神経関数評価（NFE）が必要であるため、基礎となるモデルを変更せずに、これらの拡散ODをほぼ解決することに大きな関心があります。
ただし、いくつかのNFEレジームでは、従来のODEソルバーを使用して、真のODE進化を追跡することは根本的に不可能であることがわかります。
この作業では、DMの優れたソルバーを学習する新しい方法を提案します。これは、ソルバー（S4S）の解決を呼び出します。
S4Sは、強力な教師ソルバーの出力と一致することを学習することにより、ソルバーを直接最適化して優れた生成品質を取得します。
条件付きサンプリングと無条件サンプリングの両方で、ピクセル空間や潜在スペースDMを含む、6つの異なる事前訓練を受けたDMでS4を評価します。
すべての設定で、S4は従来のODEソルバーと比較してサンプル品質を均一に改善します。
さらに、私たちの方法は軽量でデータがないため、パフォーマンスを改善するために、離散化スケジュールまたはアーキテクチャの上にブラックボックスに接続できます。
これに加えて、ソルバーと離散化スケジュールの両方を最適化するS4S-ALTも提案します。
5つのNFEを使用してDMソルバーの完全な設計スペースを活用することにより、CIFAR10で3.73、MS-COCOで13.26のFIDを達成し、以前のトレーニングフリーのODEメソッドで$ 1.5 \ Times $の改善を表します。

要約(オリジナル)

Diffusion models (DMs) create samples from a data distribution by starting from random noise and iteratively solving a reverse-time ordinary differential equation (ODE). Because each step in the iterative solution requires an expensive neural function evaluation (NFE), there has been significant interest in approximately solving these diffusion ODEs with only a few NFEs without modifying the underlying model. However, in the few NFE regime, we observe that tracking the true ODE evolution is fundamentally impossible using traditional ODE solvers. In this work, we propose a new method that learns a good solver for the DM, which we call Solving for the Solver (S4S). S4S directly optimizes a solver to obtain good generation quality by learning to match the output of a strong teacher solver. We evaluate S4S on six different pre-trained DMs, including pixel-space and latent-space DMs for both conditional and unconditional sampling. In all settings, S4S uniformly improves the sample quality relative to traditional ODE solvers. Moreover, our method is lightweight, data-free, and can be plugged in black-box on top of any discretization schedule or architecture to improve performance. Building on top of this, we also propose S4S-Alt, which optimizes both the solver and the discretization schedule. By exploiting the full design space of DM solvers, with 5 NFEs, we achieve an FID of 3.73 on CIFAR10 and 13.26 on MS-COCO, representing a $1.5\times$ improvement over previous training-free ODE methods.

arxiv情報

著者 Eric Frankel,Sitan Chen,Jerry Li,Pang Wei Koh,Lillian J. Ratliff,Sewoong Oh
発行日 2025-02-24 18:55:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | S4S: Solving for a Diffusion Model Solver はコメントを受け付けていません

Stronger Neyman Regret Guarantees for Adaptive Experimental Design

投稿日: 2025年2月25日 作成者: jarxiv

要約

設計ベースの潜在的な結果設定における、偏りのない平均治療効果（ATE）推定のための適応的で連続的な実験の設計を研究します。
私たちの目標は、サブリンのネイマンの後悔を提供する適応設計を開発することです。つまり、それらの効率は後知恵と思われる非適応デザインの効率にアプローチしなければなりません。
最近の研究[Dai et al、2023]は、$ \ widetilde {o}（\ sqrt {t}）$ $ \ widetilde {o}（\ sqrt {t}）$の予想されるNeymanの後悔を達成する最初の方法であるClipogdを導入しました。
この作業では、Neymanの後悔の保証が大幅に強力な適応設計を提案します。
特に、Clipogdを変更して、いつでも$ \ Widetilde {o}（\ log t）$ Neymanの後悔を取得します。
さらに、実験ユニットに治療前の共変量がある設定では、コンテキスト「マルチグループ」のクラスNeymanの後悔の保証を導入して研究します。
適応デザイン。
特に、$ \ widetilde {o}（\ sqrt {t}）$ Anytime Multieroup Neymanの後悔を使用して、コンテキスト適応設計を開発します。
一連の実験を通じて提案されたデザインを経験的に検証します。

要約(オリジナル)

We study the design of adaptive, sequential experiments for unbiased average treatment effect (ATE) estimation in the design-based potential outcomes setting. Our goal is to develop adaptive designs offering sublinear Neyman regret, meaning their efficiency must approach that of the hindsight-optimal nonadaptive design. Recent work [Dai et al, 2023] introduced ClipOGD, the first method achieving $\widetilde{O}(\sqrt{T})$ expected Neyman regret under mild conditions. In this work, we propose adaptive designs with substantially stronger Neyman regret guarantees. In particular, we modify ClipOGD to obtain anytime $\widetilde{O}(\log T)$ Neyman regret under natural boundedness assumptions. Further, in the setting where experimental units have pre-treatment covariates, we introduce and study a class of contextual ‘multigroup’ Neyman regret guarantees: Given any set of possibly overlapping groups based on the covariates, the adaptive design outperforms each group’s best non-adaptive designs. In particular, we develop a contextual adaptive design with $\widetilde{O}(\sqrt{T})$ anytime multigroup Neyman regret. We empirically validate the proposed designs through an array of experiments.

arxiv情報

著者 Georgy Noarov,Riccardo Fogliato,Martin Bertran,Aaron Roth
発行日 2025-02-24 18:57:54+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.ST, stat.ME, stat.ML, stat.TH | Stronger Neyman Regret Guarantees for Adaptive Experimental Design はコメントを受け付けていません

Making LLMs Reason? The Intermediate Language Problem in Neurosymbolic Approaches

投稿日: 2025年2月25日 作成者: jarxiv

要約

論理的推論タスクは、大規模な言語モデル（LLM）への挑戦として現れます。
神経共和生のアプローチでは、LLMSを使用して、自然言語で定式化された論理推論の問題を正式な中間言語に変換します。
その後、象徴的な推論者の使用により、信頼できる解決が得られます。
ただし、LLMは、選択された中間言語のために翻訳に失敗することがよくあります。
中間言語の問題を紹介します。これは、神経症のアプローチに適した正式な言語表現を選択する問題です。
理論的には、その起源は、SymanticsとSemanticsとその表現との相対的な独立性を区別するLLMSが識別できないことにあると主張します。
2つの中間言語、回答セットプログラミングとPythonナレッジエンジンを対比することにより、その存在を実験的に紹介します。
さらに、さまざまな程度の補足コンテキスト情報の効果を示します。
我々の結果は、実行と49.26％の全体的な精度に最大の差を示しています。
GPT4O-MINI LLMを使用すると、ProntoQAデータセットの全体的なアクセラリティの最先端を21.20％、Proofwriterデータセットで50.50％打ち負かしました。

要約(オリジナル)

Logical reasoning tasks manifest themselves as a challenge to Large Language Models (LLMs). Neurosymbolic approaches use LLMs to translate logical reasoning problems formulated in natural language into a formal intermediate language. Subsequently, the usage of symbolic reasoners yields reliable solving thereof. However, LLMs often fail in translation due to poorly chosen intermediate languages. We introduce the intermediate language problem, which is the problem of choosing a suitable formal language representation for neurosymbolic approaches. Theoretically, we argue that its origins lie in the inability of LLMs to distinguish syntax from semantics and the relative independence of the problem from its representation. We showcase its existence experimentally by contrasting two intermediate languages, Answer Set Programming and the Python Knowledge Engine. In addition, we demonstrate the effects of varying degrees of supplementary context information. Our results show a maximum difference in overall-accuracy of 53.20% and 49.26% in execution-accuracy. When using the GPT4o-mini LLM we beat the state-of-the-art in overall-accuracy on the ProntoQA dataset by 21.20% and by 50.50% on the ProofWriter dataset.

arxiv情報

著者 Alexander Beiser,David Penz
発行日 2025-02-24 14:49:52+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Making LLMs Reason? The Intermediate Language Problem in Neurosymbolic Approaches はコメントを受け付けていません

Institutional Platform for Secure Self-Service Large Language Model Exploration

投稿日: 2025年2月25日 作成者: jarxiv

要約

このペーパーでは、ケンタッキー大学応用AIセンターが開発したユーザーフレンドリーなプラットフォームを紹介します。
マルチLORA推論における最近の進歩を活用することにより、システムは、多様なユーザーとプロジェクトのカスタムアダプターを効率的に収容します。
このペーパーでは、データセットのキュレーション、モデルトレーニング、安全な推論、テキストベースの機能抽出を含む、システムのアーキテクチャと主要な機能の概要を説明しています。
エージェントベースの方法を使用して、孤立したリソースの島を統一システムとして安全に利用するテナント認識計算ネットワークの確立を説明します。
このプラットフォームは、安全なLLMサービスを提供し、プロセスとデータの分離、エンドツーエンドの暗号化、およびロールベースのリソース認証を強調するよう努めています。
この貢献は、科学的発見をサポートする最先端のAIモデルと技術への簡素化されたアクセスを可能にするという包括的な目標と一致しています。

要約(オリジナル)

This paper introduces a user-friendly platform developed by the University of Kentucky Center for Applied AI, designed to make large, customized language models (LLMs) more accessible. By capitalizing on recent advancements in multi-LoRA inference, the system efficiently accommodates custom adapters for a diverse range of users and projects. The paper outlines the system’s architecture and key features, encompassing dataset curation, model training, secure inference, and text-based feature extraction. We illustrate the establishment of a tenant-aware computational network using agent-based methods, securely utilizing islands of isolated resources as a unified system. The platform strives to deliver secure LLM services, emphasizing process and data isolation, end-to-end encryption, and role-based resource authentication. This contribution aligns with the overarching goal of enabling simplified access to cutting-edge AI models and technology in support of scientific discovery.

arxiv情報

著者 V. K. Cody Bumgardner,Mitchell A. Klusty,W. Vaiden Logan,Samuel E. Armstrong,Caroline N. Leach,Kenneth L. Calvert,Caylin Hickey,Jeff Talbert
発行日 2025-02-24 14:50:08+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CR | Institutional Platform for Secure Self-Service Large Language Model Exploration はコメントを受け付けていません