Understanding and Mitigating Miscalibration in Prompt Tuning for Vision-Language Models

投稿日: 2024年10月4日 作成者: jarxiv

要約

機械学習モデルを実世界に安全に展開するためには、信頼性の校正が重要である。しかし、CLIPのような視覚言語モデルにおけるこのような問題は、特にファインチューニングの後では、十分に対処されていない。一方、KgCoOpの正則化は、信頼度を維持するが、精度が向上するため、基本クラスの信頼度が低下する。この観察結果にヒントを得て、我々は動的外れ値正則化(Dynamic Outlier Regularization: DOR)を導入し、微調整後の基本クラスと新クラスの両方における信頼度の較正を保証する。特に、大規模な語彙からサンプリングされた（基本クラスではなく）新しいテキストラベルの特徴偏差を最小化することを提案する。事実上、DORは、基本クラスに対する制約を緩和する一方で、新しいラベルに対するテキスト発散の増大を防ぐ。広範な実験により、DORは基本クラスと新規クラスに対する現在の微調整手法の適合性能を向上できることが実証された。

要約(オリジナル)

Confidence calibration is critical for the safe deployment of machine learning models in the real world. However, such issue in vision-language models like CLIP, particularly after fine-tuning, has not been fully addressed. In this work, we demonstrate that existing prompt tuning methods usually lead to a trade-off of calibration between base and new classes: the cross-entropy loss in CoOp causes overconfidence in new classes by increasing textual label divergence, whereas the regularization of KgCoOp maintains the confidence level but results in underconfidence in base classes due to the improved accuracy. Inspired by the observations, we introduce Dynamic Outlier Regularization (DOR) to ensure the confidence calibration on both base and new classes after fine-tuning. In particular, we propose to minimize the feature deviation of novel textual labels (instead of base classes) sampled from a large vocabulary. In effect, DOR prevents the increase in textual divergence for new labels while easing restrictions on base classes. Extensive experiments demonstrate that DOR can enhance the calibration performance of current fine-tuning methods on base and new classes.

arxiv情報

著者 Shuoyuan Wang,Yixuan Li,Hongxin Wei
発行日 2024-10-03 17:06:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

Collaborative learning of common latent representations in routinely collected multivariate ICU physiological signals

投稿日: 2024年10月4日 作成者: jarxiv

要約

集中治療室(ICU)では、多変量の時系列データが豊富に存在するため、機械学習(ML)を用いて患者の表現型解析を強化する機会がある。電子カルテ（EHR）に焦点を当てた先行研究とは対照的に、ここでは日常的に収集される生理学的時系列データを用いた表現型分類のためのMLアプローチを提案する。我々の新しいアルゴリズムは、患者間で共通の生理学的状態を識別するために、協調フィルタリングの概念とLong Short-Term Memory (LSTM)ネットワークを統合する。脳損傷患者における頭蓋内圧亢進（IH）検出のために実世界のICU臨床データでテストしたところ、我々の手法は曲線下面積（AUC）0.889、平均精度（AP）0.725を達成した。さらに、我々のアルゴリズムは、生理学的信号のより構造化された潜在的表現の学習において、オートエンコーダを凌駕した。これらの知見は、日常的に収集される多変量時系列を活用して臨床治療を改善する、患者の表現型決定に我々の手法が有望であることを強調している。

要約(オリジナル)

In Intensive Care Units (ICU), the abundance of multivariate time series presents an opportunity for machine learning (ML) to enhance patient phenotyping. In contrast to previous research focused on electronic health records (EHR), here we propose an ML approach for phenotyping using routinely collected physiological time series data. Our new algorithm integrates Long Short-Term Memory (LSTM) networks with collaborative filtering concepts to identify common physiological states across patients. Tested on real-world ICU clinical data for intracranial hypertension (IH) detection in patients with brain injury, our method achieved an area under the curve (AUC) of 0.889 and average precision (AP) of 0.725. Moreover, our algorithm outperforms autoencoders in learning more structured latent representations of the physiological signals. These findings highlight the promise of our methodology for patient phenotyping, leveraging routinely collected multivariate time series to improve clinical care practices.

arxiv情報

著者 Hollan Haule,Ian Piper,Patricia Jones,Tsz-Yan Milly Lo,Javier Escudero
発行日 2024-10-03 17:18:53+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

NETS: A Non-Equilibrium Transport Sampler

投稿日: 2024年10月4日 作成者: jarxiv

要約

非平衡輸送サンプラー（Non-Equilibrium Transport Sampler：NETS）と呼ばれる、正規化されていない確率分布からサンプリングするアルゴリズムを提案する。NETSは、Jarzynskiの等式に基づくアニールされた重要度サンプリング(AIS)の変形と見なすことができ、非平衡サンプリングを実行するために使用される確率微分方程式は、AISで使用される不偏重みの影響を低減する追加的な学習ドリフト項で補強される。このドリフトは、サンプリングを支配する確率微分方程式の解をバックプロパゲートすることなく、全ての目的関数を不偏的に推定できる。また、これらの目的関数の中には、推定分布の目標からのカルバック・ライブラー発散を制御するものもあることを証明する。NETSは不偏であることが示され、さらに、有効サンプルサイズを最大化するために学習後に調整可能な拡散係数を持つ。標準的なベンチマーク、高次元のガウス混合分布、統計的格子場の理論に基づくモデルにおいて、本手法の有効性を実証し、関連研究や既存のベースラインの性能を上回ることを示す。

要約(オリジナル)

We propose an algorithm, termed the Non-Equilibrium Transport Sampler (NETS), to sample from unnormalized probability distributions. NETS can be viewed as a variant of annealed importance sampling (AIS) based on Jarzynski’s equality, in which the stochastic differential equation used to perform the non-equilibrium sampling is augmented with an additional learned drift term that lowers the impact of the unbiasing weights used in AIS. We show that this drift is the minimizer of a variety of objective functions, which can all be estimated in an unbiased fashion without backpropagating through solutions of the stochastic differential equations governing the sampling. We also prove that some these objectives control the Kullback-Leibler divergence of the estimated distribution from its target. NETS is shown to be unbiased and, in addition, has a tunable diffusion coefficient which can be adjusted post-training to maximize the effective sample size. We demonstrate the efficacy of the method on standard benchmarks, high-dimensional Gaussian mixture distributions, and a model from statistical lattice field theory, for which it surpasses the performances of related work and existing baselines.

arxiv情報

著者 Michael S. Albergo,Eric Vanden-Eijnden
発行日 2024-10-03 17:35:38+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cond-mat.stat-mech, cs.LG, hep-lat | コメントする

Unichain and Aperiodicity are Sufficient for Asymptotic Optimality of Average-Reward Restless Bandits

投稿日: 2024年10月4日 作成者: jarxiv

要約

我々は、離散時間における無限地平の平均報酬型レストレス・バンディット問題を考察する。我々は、漸進的に大きな腕の部分集合を最適分布に向かわせるように設計された新しいクラスの政策を提案する。本論文では、$N$武装問題に対して、$O(1/sqrt{N})$の最適性ギャップで漸近的に最適であることを示す。我々のアプローチは、最適への収束を保証するためにGAP(Global Attractor Property)に依存するインデックス政策や優先順位政策に焦点を当てた多くの既存の研究や、同期化仮定(Synchronization Assumption)を必要とする最近開発されたシミュレーションに基づく政策とは異なる。

要約(オリジナル)

We consider the infinite-horizon, average-reward restless bandit problem in discrete time. We propose a new class of policies that are designed to drive a progressively larger subset of arms toward the optimal distribution. We show that our policies are asymptotically optimal with an $O(1/\sqrt{N})$ optimality gap for an $N$-armed problem, assuming only a unichain and aperiodicity assumption. Our approach departs from most existing work that focuses on index or priority policies, which rely on the Global Attractor Property (GAP) to guarantee convergence to the optimum, or a recently developed simulation-based policy, which requires a Synchronization Assumption (SA).

arxiv情報

著者 Yige Hong,Qiaomin Xie,Yudong Chen,Weina Wang
発行日 2024-10-03 17:37:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: 90C40, cs.LG, G.3, math.OC, math.PR | コメントする

SynthFormer: Equivariant Pharmacophore-based Generation of Molecules for Ligand-Based Drug Design

投稿日: 2024年10月4日 作成者: jarxiv

要約

創薬は複雑で資源集約的なプロセスであり、新薬を患者に届けるためには多大な時間とコストを投資する必要がある。最近の生成的機械学習（ML）手法の進歩は、化学的空間を効率的に探索することにより、初期段階の創薬を加速する有望な手段を提供する。本稿では、in silicoの生成的アプローチと実用的なin vitroの方法論の間のギャップを取り上げ、分子探索を最適化するための統合の必要性を強調する。SynthFormerは、ファーマコフォアの3D等変量エンコーダを利用し、合成可能な分子を合成ツリーとして生成する新しいMLモデルである。従来の手法とは異なり、SynthFormerは3D情報を組み込んで合成経路を提供するため、様々なタンパク質において良好なドッキングスコアを持つ分子を生成する能力が向上している。我々の貢献には、3D情報を用いた効率的な化学空間探索のための新しい方法論、3Dファーマコフォア表現を分子に変換するためのSynthformerと呼ばれる新しいアーキテクチャ、創薬最適化のための試薬を組織化する意味のある埋め込み空間が含まれる。Synthformerは、うまくドッキングする分子を生成し、合成経路に制限された後期段階の最適化を効果的に行うことができる。

要約(オリジナル)

Drug discovery is a complex and resource-intensive process, with significant time and cost investments required to bring new medicines to patients. Recent advancements in generative machine learning (ML) methods offer promising avenues to accelerate early-stage drug discovery by efficiently exploring chemical space. This paper addresses the gap between in silico generative approaches and practical in vitro methodologies, highlighting the need for their integration to optimize molecule discovery. We introduce SynthFormer, a novel ML model that utilizes a 3D equivariant encoder for pharmacophores to generate fully synthesizable molecules, constructed as synthetic trees. Unlike previous methods, SynthFormer incorporates 3D information and provides synthetic paths, enhancing its ability to produce molecules with good docking scores across various proteins. Our contributions include a new methodology for efficient chemical space exploration using 3D information, a novel architecture called Synthformer for translating 3D pharmacophore representations into molecules, and a meaningful embedding space that organizes reagents for drug discovery optimization. Synthformer generates molecules that dock well and enables effective late-stage optimization restricted by synthesis paths.

arxiv情報

著者 Zygimantas Jocys,Henriette M. G. Willems,Katayoun Farrahi
発行日 2024-10-03 17:38:46+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

E(n) Equivariant Topological Neural Networks

投稿日: 2024年10月4日 作成者: jarxiv

要約

グラフ・ニューラル・ネットワークは、ペアワイズ相互作用のモデリングに優れているが、高次の相互作用や特徴に柔軟に対応することができない。トポロジカル深層学習（TDL）は、この問題を解決する有望なツールとして最近登場した。TDLは、グラフの代わりに、単純空間やセル複合体のような組み合わせ論的位相空間を操作することで、任意の多方向、階層的な高次相互作用の原理的モデリングを可能にする。しかし、位置や速度のような幾何学的特徴をTDLに活用する方法についてはほとんど知られていない。本論文では、E(n)変量トポロジカルニューラルネットワーク(ETNNs)を紹介する。ETNNsはE(n)変量メッセージパッシングネットワークであり、グラフ、ハイパーグラフ、シンプレシャル、パス、セルコンプレックスを統合したフォーマルオブジェクトである組合せコンプレックス上で動作する。ETNNは、回転、反射、並進の等価性を尊重しながら、幾何学的なノードの特徴を取り入れている。さらに、ETNNは異種相互作用のある設定にネイティブに対応できる。我々は、幾何学的グラフのためのアーキテクチャよりもETNNの表現力が向上していることを示す理論的分析を提供する。また、TDLモデルのE(n)変量変形が、我々のフレームワークからどのように直接導出できるかを示す。i)QM9ベンチマークでの分子特性予測、ii)多解像度の不規則な地理空間データを用いた大気汚染の超局所推定のための土地利用回帰。その結果、ETNNは、SotA等変量TDLモデルに匹敵するか、それを凌駕するほど少ない計算負荷で、多様な種類の豊富な構造化データから学習するための効果的なツールであることが示され、原理的な幾何学的帰納バイアスの利点が強調された。

要約(オリジナル)

Graph neural networks excel at modeling pairwise interactions, but they cannot flexibly accommodate higher-order interactions and features. Topological deep learning (TDL) has emerged recently as a promising tool for addressing this issue. TDL enables the principled modeling of arbitrary multi-way, hierarchical higher-order interactions by operating on combinatorial topological spaces, such as simplicial or cell complexes, instead of graphs. However, little is known about how to leverage geometric features such as positions and velocities for TDL. This paper introduces E(n)-Equivariant Topological Neural Networks (ETNNs), which are E(n)-equivariant message-passing networks operating on combinatorial complexes, formal objects unifying graphs, hypergraphs, simplicial, path, and cell complexes. ETNNs incorporate geometric node features while respecting rotation, reflection, and translation equivariance. Moreover, ETNNs are natively ready for settings with heterogeneous interactions. We provide a theoretical analysis to show the improved expressiveness of ETNNs over architectures for geometric graphs. We also show how E(n)-equivariant variants of TDL models can be directly derived from our framework. The broad applicability of ETNNs is demonstrated through two tasks of vastly different scales: i) molecular property prediction on the QM9 benchmark and ii) land-use regression for hyper-local estimation of air pollution with multi-resolution irregular geospatial data. The results indicate that ETNNs are an effective tool for learning from diverse types of richly structured data, as they match or surpass SotA equivariant TDL models with a significantly smaller computational burden, thus highlighting the benefits of a principled geometric inductive bias.

arxiv情報

著者 Claudio Battiloro,Ege Karaismailoğlu,Mauricio Tec,George Dasoulas,Michelle Audirac,Francesca Dominici
発行日 2024-10-03 17:44:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG, cs.NE | コメントする

Preble: Efficient Distributed Prompt Scheduling for LLM Serving

投稿日: 2024年10月4日 作成者: jarxiv

要約

大規模言語モデル(LLM)へのプロンプトは、単純なユーザへの質問を超えて進化している。LLMが複雑な問題を解決するために、今日では、プロンプトにドメイン固有の指示、ツールの使い方の説明、教科書の章のような長い文脈を含めることが行われている。そのため、プロンプトの多くの部分はリクエスト間で繰り返される。最近の研究では、プロンプトのKV状態をキャッシュして再利用することが提案されている。しかし、それらはすべて単一GPUによる最適化に限定されており、一方、本番のLLMサービングシステムはもともと分散型である。 本稿では、プロンプト共有をターゲットとし最適化する初の分散LLMサービングプラットフォームであるPrebleを提案する。新しいスケジューリングアルゴリズムと階層的スケジューリングメカニズムにより、KV状態の再利用と計算負荷分散を協調最適化する分散スケジューリングシステムを設計した。つのオープンソースLLMにおける実際のワークロードとリクエスト到着パターンを用いたPrebleの評価により、PrebleはSOTAサービングシステムを平均待ち時間で1.5倍から14.5倍、p99待ち時間で2倍から10倍上回ることが示された。

要約(オリジナル)

Prompts to large language models (LLMs) have evolved beyond simple user questions. For LLMs to solve complex problems, today’s practices are to include domain-specific instructions, illustration of tool usages, and/or long context such as textbook chapters in prompts. As such, many parts of prompts are repetitive across requests. Recent works propose to cache and reuse KV state of prompts. However, they are all confined to a single-GPU optimization, while production LLM serving systems are distributed by nature. This paper proposes Preble, the first distributed LLM serving platform that targets and optimizes for prompt sharing. We designed a distributed scheduling system that co-optimizes KV state reuse and computation load-balancing with a new scheduling algorithm and a hierarchical scheduling mechanism. Our evaluation of Preble with real workloads and request arrival patterns on two open-source LLMs shows that Preble outperforms the SOTA serving systems by 1.5X to 14.5X on average latency and 2X to 10X on p99 latency.

arxiv情報

著者 Vikranth Srivatsa,Zijian He,Reyna Abhyankar,Dongming Li,Yiying Zhang
発行日 2024-10-03 17:50:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.DC, cs.LG | コメントする

Data Similarity-Based One-Shot Clustering for Multi-Task Hierarchical Federated Learning

投稿日: 2024年10月4日 作成者: jarxiv

要約

我々は、ユーザが異なるタスクの学習に取り組む階層的連合学習環境におけるクラスタ同一性推定の問題に取り組む。タスクの異質性という課題を克服するためには、同じタスクを持つユーザが同じグループに属し、他のグループと特徴抽出層の重みを共有しながら一緒に学習を行うように、ユーザをグループ化する必要がある。そのために、データの類似性に基づいてユーザを効果的に識別し、グループ化できるワンショットクラスタリングアルゴリズムを提案する。これにより、連携学習システム内において、より効率的な連携と共通レイヤ表現の共有が可能となる。提案アルゴリズムはクラスタリングプロセスを強化するだけでなく、プライバシーの懸念、通信オーバーヘッド、学習モデルや損失関数の振る舞いに関する事前知識の必要性に関連する課題も克服する。CIFAR-10やFashion MNISTなどの様々なデータセットを用いて提案アルゴリズムを検証し、精度と分散削減の点でベースラインを上回ることを示す。

要約(オリジナル)

We address the problem of cluster identity estimation in a hierarchical federated learning setting in which users work toward learning different tasks. To overcome the challenge of task heterogeneity, users need to be grouped in a way such that users with the same task are in the same group, conducting training together, while sharing the weights of feature extraction layers with the other groups. Toward that end, we propose a one-shot clustering algorithm that can effectively identify and group users based on their data similarity. This enables more efficient collaboration and sharing of a common layer representation within the federated learning system. Our proposed algorithm not only enhances the clustering process, but also overcomes challenges related to privacy concerns, communication overhead, and the need for prior knowledge about learning models or loss function behaviors. We validate our proposed algorithm using various datasets such as CIFAR-10 and Fashion MNIST, and show that it outperforms the baseline in terms of accuracy and variance reduction.

arxiv情報

著者 Abdulmoneam Ali,Ahmed Arafa
発行日 2024-10-03 17:51:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.IT, cs.LG, cs.NI, eess.SP, math.IT | コメントする

OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?

投稿日: 2024年10月4日 作成者: jarxiv

要約

分布シフトは様々な形で現れるため、分布外（OOD）汎化は困難である。多数の学習アルゴリズムが存在し、それぞれが特定のOOD状況において性能を向上させることができる。我々は、OOD汎化の課題の多くは、適切なデータセットに適切なアルゴリズムを選択することにあると仮定する。しかし、このようなアルゴリズムの選択は、現実世界の複雑な変化の下では、しばしば捉えどころがない。本研究では、OOD汎化のためのアルゴリズム選択のタスクを定式化し、学習によってアプローチできるかどうかを調べる。我々はOOD-Chameleonと名付けた、タスクを候補アルゴリズムに対する教師あり分類として扱う解決策を提案する。我々は、多様なシフト（共変量シフト、ラベルシフト、偽相関）の種類、大きさ、組み合わせを表す、学習対象のデータセットを構築する。データセットの特徴からアルゴリズムの相対的な性能を予測するモデルを学習する。これにより、最適な学習戦略を事前に選択することができる。我々の実験によれば、制御可能で現実的な画像データからなる未知のデータセットにおいて、適応的選択は個々のアルゴリズムや単純な選択ヒューリスティックを凌駕する。モデルを検査することで、自明でないデータとアルゴリズムの相互作用を学習し、あるアルゴリズムが他のアルゴリズムを凌駕するための条件を明らかにする。これにより、(1)新しいアルゴリズムを設計する代わりに、既存のアルゴリズムを用いてOODの汎化を強化する、(2)データセットの特性に関する既存のアルゴリズムの適用可能性についての洞察を得る、という新たな道が開かれる。

要約(オリジナル)

Out-of-distribution (OOD) generalization is challenging because distribution shifts come in many forms. A multitude of learning algorithms exist and each can improve performance in specific OOD situations. We posit that much of the challenge of OOD generalization lies in choosing the right algorithm for the right dataset. However, such algorithm selection is often elusive under complex real-world shifts. In this work, we formalize the task of algorithm selection for OOD generalization and investigate whether it could be approached by learning. We propose a solution, dubbed OOD-Chameleon that treats the task as a supervised classification over candidate algorithms. We construct a dataset of datasets to learn from, which represents diverse types, magnitudes and combinations of shifts (covariate shift, label shift, spurious correlations). We train the model to predict the relative performance of algorithms given a dataset’s characteristics. This enables a priori selection of the best learning strategy, i.e. without training various models as needed with traditional model selection. Our experiments show that the adaptive selection outperforms any individual algorithm and simple selection heuristics, on unseen datasets of controllable and realistic image data. Inspecting the model shows that it learns non-trivial data/algorithms interactions, and reveals the conditions for any one algorithm to surpass another. This opens new avenues for (1) enhancing OOD generalization with existing algorithms instead of designing new ones, and (2) gaining insights into the applicability of existing algorithms with respect to datasets’ properties.

arxiv情報

著者 Liangze Jiang,Damien Teney
発行日 2024-10-03 17:52:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする

An Online Automatic Modulation Classification Scheme Based on Isolation Distributional Kernel

投稿日: 2024年10月4日 作成者: jarxiv

要約

自動変調分類（AMC）は、現代の非協力的な通信ネットワークにおける重要な技術として、様々な民間および軍事アプリケーションにおいて重要な役割を果たしている。しかし、既存のAMC手法は複雑で、計算量が多いためバッチモードでしか動作しない。本稿では、分離分布カーネルに基づく新しいオンラインAMC方式を紹介する。我々の手法は2つの点で際立っている。第一に、分布カーネルを用いてベースバンド信号を表現する最初の提案である。第二に、現実的な時変チャネル条件下でのオンライン設定でうまく機能する先駆的なAMC技術を導入している。オンライン設定での広範な実験を通して、提案する分類器の有効性を実証する。我々の結果は、提案アプローチが、2つの最先端のディープラーニング分類器を含む、既存のベースラインモデルを凌駕することを示している。さらに、線形な時間複雑性を持つ、AMCのための最初のオンライン分類器として区別され、これはリアルタイムアプリケーションのための大幅な効率アップを示す。

要約(オリジナル)

Automatic Modulation Classification (AMC), as a crucial technique in modern non-cooperative communication networks, plays a key role in various civil and military applications. However, existing AMC methods usually are complicated and can work in batch mode only due to their high computational complexity. This paper introduces a new online AMC scheme based on Isolation Distributional Kernel. Our method stands out in two aspects. Firstly, it is the first proposal to represent baseband signals using a distributional kernel. Secondly, it introduces a pioneering AMC technique that works well in online settings under realistic time-varying channel conditions. Through extensive experiments in online settings, we demonstrate the effectiveness of the proposed classifier. Our results indicate that the proposed approach outperforms existing baseline models, including two state-of-the-art deep learning classifiers. Moreover, it distinguishes itself as the first online classifier for AMC with linear time complexity, which marks a significant efficiency boost for real-time applications.

arxiv情報

著者 Xinpeng Li,Zile Jiang,Kai Ming Ting,Ye Zhu
発行日 2024-10-03 17:57:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, DeepL

カテゴリー: cs.LG | コメントする