Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables

投稿日: 2025年5月1日 作成者: jarxiv

要約

この論文では、完全に接続されたニューラルネットワークまたは物理学に基づいたニューラルネットワークを介して、最小二乗学習問題のための新しい最適化フレームワークを開発します。
勾配降下は、損失関数の非信頼性と消失勾配の問題のために、深い学習で非効率的に動作することがあります。
私たちのアイデアは、補助変数を導入して、深いニューラルネットワークの層を分離し、最適化を容易にするために損失関数を再定式化することです。
私たちは、自己適応の重みを設計して、再定義された損失と元の平均四角損失との一貫性を維持します。これにより、新しい損失を最適化することで、元の問題が最適化されることが保証されます。
一貫性を検証し、勾配降下よりもモデルの有効性と堅牢性を示すために数値実験が提示されています。

要約(オリジナル)

In this paper, we develop a new optimization framework for the least squares learning problem via fully connected neural networks or physics-informed neural networks. The gradient descent sometimes behaves inefficiently in deep learning because of the high non-convexity of loss functions and the vanishing gradient issue. Our idea is to introduce auxiliary variables to separate the layers of the deep neural networks and reformulate the loss functions for ease of optimization. We design the self-adaptive weights to preserve the consistency between the reformulated loss and the original mean squared loss, which guarantees that optimizing the new loss helps optimize the original problem. Numerical experiments are presented to verify the consistency and show the effectiveness and robustness of our models over gradient descent.

arxiv情報

著者 Yaru Liu,Yiqi Gu,Michael K. Ng
発行日 2025-04-30 10:43:13+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | Deep Learning Optimization Using Self-Adaptive Weighted Auxiliary Variables はコメントを受け付けていません

WARP-LCA: Efficient Convolutional Sparse Coding with Locally Competitive Algorithm

投稿日: 2025年5月1日 作成者: jarxiv

要約

局所的に競争力のあるアルゴリズム（LCA）は、幅広いユースケースでまばらなコーディングの問題を解決できます。
最近、畳み込みベースのLCAアプローチは、ビジョンパイプラインの画像認識タスクの堅牢性を高めるのに非常に効果的であることが示されています。
代表的なスパースをさらに最大化するために、ハードレスリングを伴うLCAを適用できます。
この組み合わせは、多くの場合、$ \ ell_0 $スパースの基準を満たす非常に優れたソリューションを生み出しますが、実用的なアプリケーションには大きな欠点があります。（i）LCAは非常に非効率的で、通常、収束には数百の最適化サイクルが必要です。
（ii）非粘性の低下喪失関数の結果の結果は、最適ではない最小値につながる可能性があります。
これらの問題に対処するために、予測プライミング（Warp-LCA）を介した状態ウォームアップを使用したローカル競争アルゴリズムを提案します。これは、予測因子ネットワークを活用して、現在の入力に基づいてLCA状態の適切な初期推測を提供します。
私たちのアプローチは、LCAの全体的な強度を維持し、さらに強化する一方で、収束速度とソリューションの品質の両方を大幅に改善します。
Warp-LCAは桁違いに速く収束し、従来のLCAに比べてより良い最小値に達することを実証します。
さらに、学習した表現はよりまばらであり、深い認識パイプラインに適用すると、再構築と品質の除去、および堅牢性の観点から優れた特性を示します。
さらに、Warp-LCAをイメージの除去タスクに適用し、その堅牢性と実用的な有効性を紹介します。
我々の調査結果は、強力な閾値を持つLCAの素朴な使用が最適ではない最小値をもたらし、予測推測でLCAを初期化すると、より良い結果が得られることを確認します。
この研究は、畳み込みスパースコーディングへの新しいアプローチを提供することにより、生物学的にインスパイアされた深い学習の分野を進めます。

要約(オリジナル)

The locally competitive algorithm (LCA) can solve sparse coding problems across a wide range of use cases. Recently, convolution-based LCA approaches have been shown to be highly effective for enhancing robustness for image recognition tasks in vision pipelines. To additionally maximize representational sparsity, LCA with hard-thresholding can be applied. While this combination often yields very good solutions satisfying an $\ell_0$ sparsity criterion, it comes with significant drawbacks for practical application: (i) LCA is very inefficient, typically requiring hundreds of optimization cycles for convergence; (ii) the use of hard-thresholding results in a non-convex loss function, which might lead to suboptimal minima. To address these issues, we propose the Locally Competitive Algorithm with State Warm-up via Predictive Priming (WARP-LCA), which leverages a predictor network to provide a suitable initial guess of the LCA state based on the current input. Our approach significantly improves both convergence speed and the quality of solutions, while maintaining and even enhancing the overall strengths of LCA. We demonstrate that WARP-LCA converges faster by orders of magnitude and reaches better minima compared to conventional LCA. Moreover, the learned representations are more sparse and exhibit superior properties in terms of reconstruction and denoising quality as well as robustness when applied in deep recognition pipelines. Furthermore, we apply WARP-LCA to image denoising tasks, showcasing its robustness and practical effectiveness. Our findings confirm that the naive use of LCA with hard-thresholding results in suboptimal minima, whereas initializing LCA with a predictive guess results in better outcomes. This research advances the field of biologically inspired deep learning by providing a novel approach to convolutional sparse coding.

arxiv情報

著者 Geoffrey Kasenbacher,Felix Ehret,Gerrit Ecke,Sebastian Otte
発行日 2025-04-30 11:12:21+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, eess.IV | WARP-LCA: Efficient Convolutional Sparse Coding with Locally Competitive Algorithm はコメントを受け付けていません

AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems

投稿日: 2025年5月1日 作成者: jarxiv

要約

一般化されたロボット操作のためのスケーラブルなロボットデータが実際の課題にどのように対処できるかを調査します。
5つの展開シナリオで217のタスクにわたって100万を超える軌跡を含む大規模なプラットフォームであるAgibot Worldを導入すると、既存のデータセットと比較してデータスケールの順序上の増加が得られます。
Agibot Worldは、人間のループ検証を備えた標準化されたコレクションパイプラインによって加速され、高品質で多様なデータ分布を保証します。
グリッパーから器用な手および視覚触覚センサーまで拡張可能です。
データに加えて、潜在的なアクション表現を活用してデータ利用を最大化する新しいジェネラリストポリシーであるGenie Operator-1（GO-1）を紹介し、データボリュームの増加に伴う予測可能なパフォーマンススケーリングを実証します。
データセットで事前に訓練されたポリシーは、ドメイン内および分散式シナリオの両方で、オープンXエンボジメントでトレーニングされたものよりも30％の平均パフォーマンス改善を達成します。
GO-1は、現実世界の器用なタスクおよび長期タスクで例外的な能力を示し、複雑なタスクで60％以上の成功率を達成し、以前のRDTアプローチを32％上回ることができます。
データセット、ツール、およびモデルをオープンソーシングすることにより、大規模で高品質のロボットデータへのアクセスを民主化し、スケーラブルで汎用性のあるインテリジェンスの追求を促進することを目指しています。

要約(オリジナル)

We explore how scalable robot data can address real-world challenges for generalized robotic manipulation. Introducing AgiBot World, a large-scale platform comprising over 1 million trajectories across 217 tasks in five deployment scenarios, we achieve an order-of-magnitude increase in data scale compared to existing datasets. Accelerated by a standardized collection pipeline with human-in-the-loop verification, AgiBot World guarantees high-quality and diverse data distribution. It is extensible from grippers to dexterous hands and visuo-tactile sensors for fine-grained skill acquisition. Building on top of data, we introduce Genie Operator-1 (GO-1), a novel generalist policy that leverages latent action representations to maximize data utilization, demonstrating predictable performance scaling with increased data volume. Policies pre-trained on our dataset achieve an average performance improvement of 30% over those trained on Open X-Embodiment, both in in-domain and out-of-distribution scenarios. GO-1 exhibits exceptional capability in real-world dexterous and long-horizon tasks, achieving over 60% success rate on complex tasks and outperforming prior RDT approach by 32%. By open-sourcing the dataset, tools, and models, we aim to democratize access to large-scale, high-quality robot data, advancing the pursuit of scalable and general-purpose intelligence.

arxiv情報

著者 AgiBot-World-Contributors,Qingwen Bu,Jisong Cai,Li Chen,Xiuqi Cui,Yan Ding,Siyuan Feng,Shenyuan Gao,Xindong He,Xuan Hu,Xu Huang,Shu Jiang,Yuxin Jiang,Cheng Jing,Hongyang Li,Jialu Li,Chiming Liu,Yi Liu,Yuxiang Lu,Jianlan Luo,Ping Luo,Yao Mu,Yuehan Niu,Yixuan Pan,Jiangmiao Pang,Yu Qiao,Guanghui Ren,Cheng Ruan,Jiaqi Shan,Yongjian Shen,Chengshi Shi,Mingkang Shi,Modi Shi,Chonghao Sima,Jianheng Song,Huijie Wang,Wenhao Wang,Dafeng Wei,Chengen Xie,Guo Xu,Junchi Yan,Cunbiao Yang,Lei Yang,Shukai Yang,Maoqing Yao,Jia Zeng,Chi Zhang,Qinglin Zhang,Bin Zhao,Chengyue Zhao,Jiaqi Zhao,Jianchao Zhu
発行日 2025-04-30 11:18:40+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CV, cs.LG, cs.RO | AgiBot World Colosseo: A Large-scale Manipulation Platform for Scalable and Intelligent Embodied Systems はコメントを受け付けていません

Low-rank computation of the posterior mean in Multi-Output Gaussian Processes

投稿日: 2025年5月1日 作成者: jarxiv

要約

ガウスプロセス（GP）は、機械学習と計算科学の多用途ツールです。
ここでは、MOGPの事後平均を効率的に計算するためのマルチアウトプットガウスプロセス（MOGP）と低ランクのアプローチの場合を検討します。
低ランクの時空間データから始めて、空間と時間にわたる分離性を想定して、構造化された共分散関数を検討します。
この分離性は、共分散マトリックスを個々の共分散行列のクロネッカー積に分解することができます。
典型的なノイズ用語をモデルに組み込むには、後方平均を計算するために大規模なスタイン方程式の解が必要です。
このために、LRPCGメソッドとSylvester方程式ソルバーKPIKの組み合わせに基づいて、Stein方程式を解くために調整された効率的な低ランク法を提案します。
グラフフィルターを共分散行列として使用して、Real World Street Networkグラフの開発方法をテストします。
さらに、より効率的な収束を達成するために特定の仮定の下で採用できる度合いの平均共分散マトリックスを提案します。

要約(オリジナル)

Gaussian processes (GP) are a versatile tool in machine learning and computational science. We here consider the case of multi-output Gaussian processes (MOGP) and present low-rank approaches for efficiently computing the posterior mean of a MOGP. Starting from low-rank spatio-temporal data we consider a structured covariance function, assuming separability across space and time. This separability, in turn, gives a decomposition of the covariance matrix into a Kronecker product of individual covariance matrices. Incorporating the typical noise term to the model then requires the solution of a large-scale Stein equation for computing the posterior mean. For this, we propose efficient low-rank methods based on a combination of a LRPCG method with the Sylvester equation solver KPIK adjusted for solving Stein equations. We test the developed method on real world street network graphs by using graph filters as covariance matrices. Moreover, we propose a degree-weighted average covariance matrix, which can be employed under specific assumptions to achieve more efficient convergence.

arxiv情報

著者 Sebastian Esche,Martin Stoll
発行日 2025-04-30 11:19:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.NA, math.NA | Low-rank computation of the posterior mean in Multi-Output Gaussian Processes はコメントを受け付けていません

MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications

投稿日: 2025年5月1日 作成者: jarxiv

要約

主にプライバシー関連の問題により、医療領域での人工知能アプリケーションの開発への関心の高まりは、高品質のデータセットの欠如に苦しんでいます。
さらに、最近の大規模なマルチモーダルモデル（LMM）の上昇は、臨床報告と調査結果が対応するCTまたはMRスキャンに付随するマルチモーダル医療データセットの必要性につながります。
このペーパーでは、データセットMedPix 2.0を構築するためのワークフロー全体を示しています。
主に医師、看護師、医療学生が医学教育を継続するために使用している有名なマルチモーダルデータセットMedPixから、半自動パイプラインが開発され、視覚データとテキストデータを抽出し、その後にノイズのサンプルが削除され、MongoDBデータベースが作成されました。
データセットに加えて、MongoDBインスタンスを効率的にナビゲートすることを目的としたGUIを開発し、LMMSのトレーニングや微調整に簡単に使用できる生データを取得しました。
このポイントを実施するために、スキャンモダリティとロケーション分類タスクのためにMedPix 2.0でトレーニングされたクリップベースのモデルも提案します。
Medpix 2.0はGithubで入手できます

要約(オリジナル)

The increasing interest in developing Artificial Intelligence applications in the medical domain, suffers from the lack of high-quality data set, mainly due to privacy-related issues. Moreover, the recent rising of Large Multimodal Models (LMM) leads to a need for multimodal medical data sets, where clinical reports and findings are attached to the corresponding CT or MR scans. This paper illustrates the entire workflow for building the data set MedPix 2.0. Starting from the well-known multimodal data set MedPix, mainly used by physicians, nurses and healthcare students for Continuing Medical Education purposes, a semi-automatic pipeline was developed to extract visual and textual data followed by a manual curing procedure where noisy samples were removed, thus creating a MongoDB database. Along with the data set, we developed a GUI aimed at navigating efficiently the MongoDB instance, and obtaining the raw data that can be easily used for training and/or fine-tuning LMMs. To enforce this point, we also propose a CLIP-based model trained on MedPix 2.0 for scanning modality and location classification tasks. MedPix 2.0 is available on GitHub

arxiv情報

著者 Irene Siragusa,Salvatore Contino,Massimo La Ciura,Rosario Alicata,Roberto Pirrone
発行日 2025-04-30 11:41:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.DB, cs.LG | MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications はコメントを受け付けていません

Towards proactive self-adaptive AI for non-stationary environments with dataset shifts

投稿日: 2025年5月1日 作成者: jarxiv

要約

生産に展開された人工知能（AI）モデルは、非定常環境でのパフォーマンスを維持する上で課題に頻繁に直面しています。
この問題は、時間のデータセットシフトがしばしば発生する医療環境で特に顕著です。
これらのシフトは、トレーニングデータの分布が、展開中に遭遇したデータの分布と時間の経過とともに発生すると発生します。
さらに、継続的に再訓練するための新しいラベル付きデータは、通常、データアクセス制限のためにタイムリーに使用できません。
これらの課題に対処するために、AIパラメーターの時間的軌跡をモデル化する積極的な自己適応AIアプローチ、または適応性の適応性を提案し、短期間の予測パラメーター値を可能にします。
この目的のために、拡張可能な機能データ分析フレームワーク内で、多項式スプラインベースを使用します。
前の確率シフト、共変量シフト、および概念シフトに対処するロジスティック回帰モデルで、方法論を検証します。
この検証は、制御されたシミュレートされたデータセットと、2020年から2024年の間にさまざまなシフトが発生する、メキシコからの公開されている現実世界のCovid-19データセットの両方で実施さ​​れます。我々の結果は、このアプローチが、最新のトレーニングデータを必要とせずに、現在からの異なる時間距離でトレーニングされたベースライン安定モデルと比較したベースライン安定モデルと比較したベースラインの安定したモデルと比較したベースラインの安定したモデルと比較したベースラインの安定したモデルと比較したベースラインの安定したモデルと比較したベースラインの安定したモデルと比較して、シフトに対するパフォーマンスを向上させます。
この作業は、健康のための回復力のあるAI生産環境において、データ保護と互換性がある動的で非定常環境に対する促進的なAI研究の基礎を築きます。

要約(オリジナル)

Artificial Intelligence (AI) models deployed in production frequently face challenges in maintaining their performance in non-stationary environments. This issue is particularly noticeable in medical settings, where temporal dataset shifts often occur. These shifts arise when the distributions of training data differ from those of the data encountered during deployment over time. Further, new labeled data to continuously retrain AI is not typically available in a timely manner due to data access limitations. To address these challenges, we propose a proactive self-adaptive AI approach, or pro-adaptive, where we model the temporal trajectory of AI parameters, allowing us to short-term forecast parameter values. To this end, we use polynomial spline bases, within an extensible Functional Data Analysis framework. We validate our methodology with a logistic regression model addressing prior probability shift, covariate shift, and concept shift. This validation is conducted on both a controlled simulated dataset and a publicly available real-world COVID-19 dataset from Mexico, with various shifts occurring between 2020 and 2024. Our results indicate that this approach enhances the performance of AI against shifts compared to baseline stable models trained at different time distances from the present, without requiring updated training data. This work lays the foundation for pro-adaptive AI research against dynamic, non-stationary environments, being compatible with data protection, in resilient AI production environments for health.

arxiv情報

著者 David Fernández Narro,Pablo Ferri,Juan M. García-Gómez,Carlos Sáez
発行日 2025-04-30 12:09:59+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, I.2.8 | Towards proactive self-adaptive AI for non-stationary environments with dataset shifts はコメントを受け付けていません

MARIA: a Multimodal Transformer Model for Incomplete Healthcare Data

投稿日: 2025年5月1日 作成者: jarxiv

要約

ヘルスケアでは、マルチモーダルデータの統合は、包括的な診断モデルと予測モデルを開発するために極めて重要です。
ただし、欠損データの管理は、実際のアプリケーションでは依然として重要な課題です。
中間融合戦略を通じてこれらの課題に対処するために設計された新しい変圧器ベースのディープ学習モデルであるマリア（不完全データに回復力があるマルチモーダル注意）を紹介します。
帰属に依存する従来のアプローチとは異なり、マリアは合成値を生成せずに利用可能なデータのみを処理するマスクされた自己関節メカニズムを利用します。
このアプローチにより、不完全なデータセットを効果的に処理し、堅牢性を高め、代入法によって導入されたバイアスを最小限に抑えることができます。
8つの診断および予後タスクにわたる10の最先端の機械学習およびディープラーニングモデルに対してマリアを評価しました。
結果は、マリアがさまざまなレベルのデータ不完全性に対するパフォーマンスと回復力の観点から既存の方法を上回ることを示しており、重要なヘルスケアアプリケーションの可能性を強調しています。

要約(オリジナル)

In healthcare, the integration of multimodal data is pivotal for developing comprehensive diagnostic and predictive models. However, managing missing data remains a significant challenge in real-world applications. We introduce MARIA (Multimodal Attention Resilient to Incomplete datA), a novel transformer-based deep learning model designed to address these challenges through an intermediate fusion strategy. Unlike conventional approaches that depend on imputation, MARIA utilizes a masked self-attention mechanism, which processes only the available data without generating synthetic values. This approach enables it to effectively handle incomplete datasets, enhancing robustness and minimizing biases introduced by imputation methods. We evaluated MARIA against 10 state-of-the-art machine learning and deep learning models across 8 diagnostic and prognostic tasks. The results demonstrate that MARIA outperforms existing methods in terms of performance and resilience to varying levels of data incompleteness, underscoring its potential for critical healthcare applications.

arxiv情報

著者 Camillo Maria Caruso,Paolo Soda,Valerio Guarrasi
発行日 2025-04-30 12:32:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | MARIA: a Multimodal Transformer Model for Incomplete Healthcare Data はコメントを受け付けていません

Real Time Semantic Segmentation of High Resolution Automotive LiDAR Scans

投稿日: 2025年5月1日 作成者: jarxiv

要約

最近の研究では、多くの以前の研究が、ドライバーアシスタンスシステムと自律車両の開発の重要な要素としてのLIDARデータのセマンティックセグメンテーションの重要性を強調しています。
ただし、多くの最先端の方法は、時代遅れの低解像度のライダーセンサーでテストされており、リアルタイムの制約に苦しんでいます。
この研究では、精度とリアルタイムの処理需要の両方に対処する最新の高解像度ライダーセンサーに合わせた新しいセマンティックセグメンテーションフレームワークを紹介します。
都市の交通シーンで最先端の自動車128レイヤーライダーによって収集された新しいLidarデータセットを提案します。
さらに、表面法線を強力な入力機能として利用するセマンティックセグメンテーション方法を提案します。
私たちのアプローチは、最先端の研究と実用的な自動車アプリケーションの間のギャップを埋めることです。
さらに、研究車両で動作するロボットオペレーティングシステム（ROS2）の実装を提供します。
データセットとコードは公開されています：https：//github.com/kav-institute/semanticlidar。

要約(オリジナル)

In recent studies, numerous previous works emphasize the importance of semantic segmentation of LiDAR data as a critical component to the development of driver-assistance systems and autonomous vehicles. However, many state-of-the-art methods are tested on outdated, lower-resolution LiDAR sensors and struggle with real-time constraints. This study introduces a novel semantic segmentation framework tailored for modern high-resolution LiDAR sensors that addresses both accuracy and real-time processing demands. We propose a novel LiDAR dataset collected by a cutting-edge automotive 128 layer LiDAR in urban traffic scenes. Furthermore, we propose a semantic segmentation method utilizing surface normals as strong input features. Our approach is bridging the gap between cutting-edge research and practical automotive applications. Additionaly, we provide a Robot Operating System (ROS2) implementation that we operate on our research vehicle. Our dataset and code are publicly available: https://github.com/kav-institute/SemanticLiDAR.

arxiv情報

著者 Hannes Reichert,Benjamin Serfling,Elijah Schüssler,Kerim Turacan,Konrad Doll,Bernhard Sick
発行日 2025-04-30 13:00:50+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, cs.RO | Real Time Semantic Segmentation of High Resolution Automotive LiDAR Scans はコメントを受け付けていません

Quantitative Clustering in Mean-Field Transformer Models

投稿日: 2025年5月1日 作成者: jarxiv

要約

ディープトランスモデルを介したトークンの進化は、kuramotoモデルの同期現象に似た漸近クラスタリング挙動を示すことが示されている相互作用粒子システムとしてモデル化できます。
この作業では、平均フィールドトランスモデルの長年のクラスタリングを調査します。
より正確には、トランスモデルのパラメーターに関するいくつかの仮定に基づく適切に定期的な初期化のために、ディラック点質量に対する対数収縮率を確立します。

要約(オリジナル)

The evolution of tokens through a deep transformer models can be modeled as an interacting particle system that has been shown to exhibit an asymptotic clustering behavior akin to the synchronization phenomenon in Kuramoto models. In this work, we investigate the long-time clustering of mean-field transformer models. More precisely, we establish exponential rates of contraction to a Dirac point mass for any suitably regular initialization under some assumptions on the parameters of transformer models, any suitably regular mean-field initialization synchronizes exponentially fast with some quantitative rates.

arxiv情報

著者 Shi Chen,Zhengjiang Lin,Yury Polyanskiy,Philippe Rigollet
発行日 2025-04-30 13:35:39+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.AP, math.DS, stat.ML | Quantitative Clustering in Mean-Field Transformer Models はコメントを受け付けていません

LabTOP: A Unified Model for Lab Test Outcome Prediction on Electronic Health Records

投稿日: 2025年5月1日 作成者: jarxiv

要約

ラボテストは、病気の診断と患者の状態を監視するための基本です。
ただし、頻繁な検査は患者にとって負担がかかる可能性があり、テスト結果が常にすぐに利用できるとは限りません。
これらの課題に対処するために、EHRデータの言語モデリングアプローチを活用することにより、ラボテストの結果を予測する統一モデルであるLabtopを提案します。
ラボテストのサブセットのみを推定したり、離散値範囲を分類したりする従来の方法とは異なり、LabTopは、多様な範囲のラボアイテムの連続数値予測を実行します。
公開されている3つのEHRデータセットでLabTopを評価し、従来の機械学習モデルや最先端の​​大規模な言語モデルなど、既存の方法よりも優れていることを示しています。
また、設計の選択の有効性を確認するために、広範なアブレーション研究を実施します。
LabTopは、臨床的意思決定サポートに潜在的なアプリケーションと危機的条件の早期検出に伴い、ラボテストの結果予測のための正確で一般化可能なフレームワークとして機能すると考えています。

要約(オリジナル)

Lab tests are fundamental for diagnosing diseases and monitoring patient conditions. However, frequent testing can be burdensome for patients, and test results may not always be immediately available. To address these challenges, we propose LabTOP, a unified model that predicts lab test outcomes by leveraging a language modeling approach on EHR data. Unlike conventional methods that estimate only a subset of lab tests or classify discrete value ranges, LabTOP performs continuous numerical predictions for a diverse range of lab items. We evaluate LabTOP on three publicly available EHR datasets and demonstrate that it outperforms existing methods, including traditional machine learning models and state-of-the-art large language models. We also conduct extensive ablation studies to confirm the effectiveness of our design choices. We believe that LabTOP will serve as an accurate and generalizable framework for lab test outcome prediction, with potential applications in clinical decision support and early detection of critical conditions.

arxiv情報

著者 Sujeong Im,Jungwoo Oh,Edward Choi
発行日 2025-04-30 13:54:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG | LabTOP: A Unified Model for Lab Test Outcome Prediction on Electronic Health Records はコメントを受け付けていません