When Can You Get Away with Low Memory Adam?

投稿日: 2025年3月7日 作成者: jarxiv

要約

Adamは、最新の機械学習モデルをトレーニングするためのオプティマイザーですが、勾配とその正方形の移動平均を維持するために追加のメモリが必要です。
アダムのパフォーマンスと時々一致することがあるさまざまな低メモリオプティマイザーが提案されていますが、信頼性の欠如はアダムをデフォルトの選択肢として残しました。
この作業では、単純な層ごとの信号対雑音比（SNR）分析を適用して、2番目のモーメントテンソルを異なる次元にわたって効果的にそれらの手段に置き換えることができる時期を定量化します。
SNR分析により、アーキテクチャ、トレーニングハイパーパラメーター、およびデータセットプロパティがAdamの軌跡に沿った圧縮性にどのように影響し、自然にメモリ効率の高いAdamバリアントである$ \ Textit {Slimadam} $につながる方法が明らかになります。
$ \ textit {slimadam} $は、実現可能な場合に高いSNRで次元に沿って2番目のモーメントを圧縮し、圧縮が有害である場合に去ります。
さまざまなアーキテクチャとトレーニングシナリオの実験を通じて、$ \ textit {slimadam} $は、アダムのパフォーマンスと安定性と一致しながら、合計2番目の瞬間の最大$ 98 \％$ $を節約することを示します。
$ \ textit {slimadam} $のコードは、https：//github.com/dayal-kalra/low-memory-adamで入手できます。

要約(オリジナル)

Adam is the go-to optimizer for training modern machine learning models, but it requires additional memory to maintain the moving averages of the gradients and their squares. While various low-memory optimizers have been proposed that sometimes match the performance of Adam, their lack of reliability has left Adam as the default choice. In this work, we apply a simple layer-wise Signal-to-Noise Ratio (SNR) analysis to quantify when second-moment tensors can be effectively replaced by their means across different dimensions. Our SNR analysis reveals how architecture, training hyperparameters, and dataset properties impact compressibility along Adam’s trajectory, naturally leading to $\textit{SlimAdam}$, a memory-efficient Adam variant. $\textit{SlimAdam}$ compresses the second moments along dimensions with high SNR when feasible, and leaves when compression would be detrimental. Through experiments across a diverse set of architectures and training scenarios, we show that $\textit{SlimAdam}$ matches Adam’s performance and stability while saving up to $98\%$ of total second moments. Code for $\textit{SlimAdam}$ is available at https://github.com/dayal-kalra/low-memory-adam.

arxiv情報

著者 Dayal Singh Kalra,John Kirchenbauer,Maissam Barkeshli,Tom Goldstein
発行日 2025-03-06 18:38:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cond-mat.dis-nn, cs.LG, stat.ML | When Can You Get Away with Low Memory Adam? はコメントを受け付けていません

Sample-Optimal Agnostic Boosting with Unlabeled Data

投稿日: 2025年3月7日 作成者: jarxiv

要約

ブーストは、不正確な経験則から正確な学習アルゴリズムを構築するための実用的で実証的に効果的なフレームワークを提供します。
これは、直接的な経験的リスク最小化（ERM）が効率的に実装できない可能性がある設定へのサンプル効率の高い学習の約束を拡張します。
実現可能な設定では、ブーストは、サンプルの効率を損なうことなく、この計算猶予を提供することが知られています。
ただし、不可知論的な場合、既存のブーストアルゴリズムは、最適なサンプルの複雑さを達成することはできません。
このペーパーでは、予期せぬ以前に未開拓の改善の道を強調しています：ラベルのないサンプル。
多項式的に多くの追加の非標識サンプルを考えると、ERMのサンプルの複雑さに一致する計算効率的なアゴーストブーストアルゴリズムを設計します。
実際、必要なサンプルの総数は、包括的でラベル付けされていないサンプルの総数が、最も有名な不可知論的ブーストアルゴリズムのそれ以上のものではないことを示しています。したがって、この結果は決して悪化しませんが、これらの割合を消滅させる必要がありますが、成功するためにはアルゴリズムをラベル付けする必要があります。
これは、不可知論的ブーストの学習理論的アプリケーションにとって特に偶然です。これは、分布固有の設定で行われることがよくあり、非標識サンプルを無料で利用できることがよくあります。
この結果の他のアプリケーションは、強化学習において詳細に説明します。

要約(オリジナル)

Boosting provides a practical and provably effective framework for constructing accurate learning algorithms from inaccurate rules of thumb. It extends the promise of sample-efficient learning to settings where direct Empirical Risk Minimization (ERM) may not be implementable efficiently. In the realizable setting, boosting is known to offer this computational reprieve without compromising on sample efficiency. However, in the agnostic case, existing boosting algorithms fall short of achieving the optimal sample complexity. This paper highlights an unexpected and previously unexplored avenue of improvement: unlabeled samples. We design a computationally efficient agnostic boosting algorithm that matches the sample complexity of ERM, given polynomially many additional unlabeled samples. In fact, we show that the total number of samples needed, unlabeled and labeled inclusive, is never more than that for the best known agnostic boosting algorithm — so this result is never worse — while only a vanishing fraction of these need to be labeled for the algorithm to succeed. This is particularly fortuitous for learning-theoretic applications of agnostic boosting, which often take place in the distribution-specific setting, where unlabeled samples can be availed for free. We detail other applications of this result in reinforcement learning.

arxiv情報

著者 Udaya Ghai,Karan Singh
発行日 2025-03-06 18:54:42+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, stat.ML | Sample-Optimal Agnostic Boosting with Unlabeled Data はコメントを受け付けていません

Efficiently Escaping Saddle Points under Generalized Smoothness via Self-Bounding Regularity

投稿日: 2025年3月7日 作成者: jarxiv

要約

この論文では、一次方法を使用して必ずしもスムーズではない機能に関する非凸最適化の問題を研究します。
滑らかさ（勾配および/またはヘシアンがリプシッツである機能）は、理論と実践の両方における多くの機械学習の問題によって満たされず、適切な滑らかさの一般化の下で一次法の一次の定常点を一定の順序で調べる最近の作業を動機付けます。
私たちは、文献よりも一般的な滑らかさの仮定の下で、一般化された滑らかさの下で、一次メソッドと\ textIT {second}順序の固定点への収束を研究するための新しいフレームワークを開発します。
フレームワークを使用して、GDとSGDの適切なバリエーション（適切な摂動など）を示します。一次だけでなく、次元のランタイムポリロガリズムで\ textit {2次固定点}も収束できます。
私たちの知る限り、私たちの仕事には、最初のそのような結果と、一般化された滑らかさの下での非凸最適化のための最初の「非テキストブック」レートが含まれています。
いくつかの標準的な非凸最適化問題が私たちの設定とフレームワークに該当することを実証します。

要約(オリジナル)

In this paper, we study the problem of non-convex optimization on functions that are not necessarily smooth using first order methods. Smoothness (functions whose gradient and/or Hessian are Lipschitz) is not satisfied by many machine learning problems in both theory and practice, motivating a recent line of work studying the convergence of first order methods to first order stationary points under appropriate generalizations of smoothness. We develop a novel framework to study convergence of first order methods to first and \textit{second} order stationary points under generalized smoothness, under more general smoothness assumptions than the literature. Using our framework, we show appropriate variants of GD and SGD (e.g. with appropriate perturbations) can converge not just to first order but also \textit{second order stationary points} in runtime polylogarithmic in the dimension. To our knowledge, our work contains the first such result, as well as the first ‘non-textbook’ rate for non-convex optimization under generalized smoothness. We demonstrate that several canonical non-convex optimization problems fall under our setting and framework.

arxiv情報

著者 Daniel Yiming Cao,August Y. Chen,Karthik Sridharan,Benjamin Tang
発行日 2025-03-06 18:57:34+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.LG, math.OC | Efficiently Escaping Saddle Points under Generalized Smoothness via Self-Bounding Regularity はコメントを受け付けていません

AfroBench: How Good are Large Language Models on African Languages?

投稿日: 2025年3月7日 作成者: jarxiv

要約

メガなどの大規模な多言語評価には、高品質の評価データが不足しているため、既存のアフリカのデータセットの発見が限られているため、ほんの一握りのアフリカ言語しか含まれていません。
この表現の欠如は、多様な言語とタスクにわたる包括的なLLM評価を妨げます。
これらの課題に対処するために、Afrobenchを紹介します。これは、64のアフリカ言語、15のタスク、22のデータセットにわたるLLMのパフォーマンスを評価するためのマルチタスクベンチマークです。
Afrobenchは、9つの自然言語理解データセット、6つのテキスト生成データセット、6つの知識と質問に答えるタスク、および1つの数学的推論タスクで構成されています。
LLMSプロンプトのパフォーマンスを、BertおよびT5スタイルのモデルに基づいて微調整されたベースラインと比較する結果を提示します。
私たちの結果は、ほとんどのタスクにわたる英語やアフリカの言語など、高リソース言語間のパフォーマンスの大きなギャップを示唆しています。
しかし、パフォーマンスは、単一言語のデータリソースの可用性に基づいて異なります。
私たちの調査結果は、アフリカ言語のパフォーマンスが現在のLLMのハードルであり続けており、このギャップを埋めるための追加の努力の必要性を強調していることを確認しています。
https://mcgill-nlp.github.io/afrobench/

要約(オリジナル)

Large-scale multilingual evaluations, such as MEGA, often include only a handful of African languages due to the scarcity of high-quality evaluation data and the limited discoverability of existing African datasets. This lack of representation hinders comprehensive LLM evaluation across a diverse range of languages and tasks. To address these challenges, we introduce AfroBench — a multi-task benchmark for evaluating the performance of LLMs across 64 African languages, 15 tasks and 22 datasets. AfroBench consists of nine natural language understanding datasets, six text generation datasets, six knowledge and question answering tasks, and one mathematical reasoning task. We present results comparing the performance of prompting LLMs to fine-tuned baselines based on BERT and T5-style models. Our results suggest large gaps in performance between high-resource languages, such as English, and African languages across most tasks; but performance also varies based on the availability of monolingual data resources. Our findings confirm that performance on African languages continues to remain a hurdle for current LLMs, underscoring the need for additional efforts to close this gap. https://mcgill-nlp.github.io/AfroBench/

arxiv情報

著者 Jessica Ojo,Odunayo Ogundepo,Akintunde Oladipo,Kelechi Ogueji,Jimmy Lin,Pontus Stenetorp,David Ifeoluwa Adelani
発行日 2025-03-06 13:29:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | AfroBench: How Good are Large Language Models on African Languages? はコメントを受け付けていません

Assisting Mathematical Formalization with A Learning-based Premise Retriever

投稿日: 2025年3月7日 作成者: jarxiv

要約

前提選択は、特に経験が限られているユーザーにとって、数学的な形式化の重要でありながら挑戦的なステップです。
利用可能な形式化プロジェクトが不足しているため、言語モデルを活用する既存のアプローチは、しばしばデータ不足に苦しんでいます。
この作業では、数学の形式化をサポートするために、前提レトリバーをトレーニングするための革新的な方法を紹介します。
私たちのアプローチでは、BERTモデルを採用して、証明状態と施設を共有潜在スペースに埋め込みます。
検索モデルは、対照的な学習フレームワーク内でトレーニングされており、微調整された類似性計算方法とともにドメイン固有のトークナイザーが組み込まれています。
実験結果は、モデルが既存のベースラインと比較して非常に競争力があり、より少ない計算リソースを必要としながら強力なパフォーマンスを達成することを示しています。
再ランクモジュールの統合により、パフォーマンスがさらに強化されます。
形式化プロセスを合理化するために、ユーザーが証明状態を使用してMathlib定理を直接照会できるようにする検索エンジンをリリースし、アクセシビリティと効率を大幅に改善します。
コードはhttps://github.com/ruc-ai4math/premise-retrievalで入手できます。

要約(オリジナル)

Premise selection is a crucial yet challenging step in mathematical formalization, especially for users with limited experience. Due to the lack of available formalization projects, existing approaches that leverage language models often suffer from data scarcity. In this work, we introduce an innovative method for training a premise retriever to support the formalization of mathematics. Our approach employs a BERT model to embed proof states and premises into a shared latent space. The retrieval model is trained within a contrastive learning framework and incorporates a domain-specific tokenizer along with a fine-grained similarity computation method. Experimental results show that our model is highly competitive compared to existing baselines, achieving strong performance while requiring fewer computational resources. Performance is further enhanced through the integration of a re-ranking module. To streamline the formalization process, we will release a search engine that enables users to query Mathlib theorems directly using proof states, significantly improving accessibility and efficiency. Codes are available at https://github.com/ruc-ai4math/Premise-Retrieval.

arxiv情報

著者 Yicheng Tao,Haotian Liu,Shanwen Wang,Hongteng Xu
発行日 2025-03-06 13:51:24+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR | Assisting Mathematical Formalization with A Learning-based Premise Retriever はコメントを受け付けていません

A Dataset for Analysing News Framing in Chinese Media

投稿日: 2025年3月7日 作成者: jarxiv

要約

フレーミングはニュースレポートにおいて不可欠なデバイスであり、作家が時事問題の一般の認識に影響を与えることができます。
さまざまな言語の既存の自動ニュースフレーミング検出データセットがありますが、複雑な性格の意味とユニークな言語的特徴を持つ中国語でのニュースフレーミングに焦点を当てるものはありません。
この調査では、SEMVAL-2023タスク3データセットのスタンドアロンデータセットまたは補足リソースとして使用する最初の中国のニュースフレーミングデータセットを紹介します。
その作成について詳しく説明し、ベースライン実験を実行して、このようなデータセットの必要性を強調し、将来の研究のためのベンチマークを作成し、微調整XLM-Roberta-Baseを介して得られた結果を提供し、ゼロショット設定でGPT-4Oを使用します。
GPT-4Oは、すべての言語で微調整されたXLM-Robertaよりも著しく悪化していることがわかります。
中国語では、中国のニュースフレーミングデータセットのサンプルのみを使用して、中国のニュースフレーミングサンプルを使用してSemeval Datasetを拡張するときに0.719のF1-Micro（Semeval Task 3、Subtask 2のパフォーマンスメトリック）スコアを取得します。
肯定的なニュースフレーム検出結果があるため、このデータセットは中国語でニュースフレームを検出するための貴重なリソースであり、Semeval-2023タスク3データセットの貴重な補足です。

要約(オリジナル)

Framing is an essential device in news reporting, allowing the writer to influence public perceptions of current affairs. While there are existing automatic news framing detection datasets in various languages, none of them focus on news framing in the Chinese language which has complex character meanings and unique linguistic features. This study introduces the first Chinese News Framing dataset, to be used as either a stand-alone dataset or a supplementary resource to the SemEval-2023 task 3 dataset. We detail its creation and we run baseline experiments to highlight the need for such a dataset and create benchmarks for future research, providing results obtained through fine-tuning XLM-RoBERTa-Base and using GPT-4o in the zero-shot setting. We find that GPT-4o performs significantly worse than fine-tuned XLM-RoBERTa across all languages. For the Chinese language, we obtain an F1-micro (the performance metric for SemEval task 3, subtask 2) score of 0.719 using only samples from our Chinese News Framing dataset and a score of 0.753 when we augment the SemEval dataset with Chinese news framing samples. With positive news frame detection results, this dataset is a valuable resource for detecting news frames in the Chinese language and is a valuable supplement to the SemEval-2023 task 3 dataset.

arxiv情報

著者 Owen Cook,Yida Mu,Xinye Yang,Xingyi Song,Kalina Bontcheva
発行日 2025-03-06 13:55:33+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | A Dataset for Analysing News Framing in Chinese Media はコメントを受け付けていません

Quantifying patterns of punctuation in modern Chinese prose

投稿日: 2025年3月7日 作成者: jarxiv

要約

最近の研究は、テキストの句読点が言語間で普遍的な特徴を示すことを示しています。
西洋の古典文献の分析により、句読点間の空間の分布は、生存分析で通常使用される離散ワイブル分布と整合していることが明らかになりました。
この分析を3つの顕著な現代作品にここに表す中国文学に拡張することにより、ZIPFの法律は、句読点が法律の遵守を改善する西洋のテキストと同様に中国のテキストに適用されることが示されています。
さらに、中国のテキストの句読点間の距離分布は、ワイブルモデルに続きますが、英語の翻訳よりも大きな間隔は頻繁にはありません。
文の長さを表す文の終わりの句読点は、文の長さの柔軟性の向上を反映して、このパターンとは異なります。
この変動性は、特にGao Xingjianの「Soul Mountain」で明らかな複雑で多競合の文構造の形成をサポートしています。
これらの調査結果は、中国と西洋の両方のテキストが普遍的な句読点と単語分布パターンを共有し、言語全体の幅広い適用性を強調することを示しています。

要約(オリジナル)

Recent research shows that punctuation patterns in texts exhibit universal features across languages. Analysis of Western classical literature reveals that the distribution of spaces between punctuation marks aligns with a discrete Weibull distribution, typically used in survival analysis. By extending this analysis to Chinese literature represented here by three notable contemporary works, it is shown that Zipf’s law applies to Chinese texts similarly to Western texts, where punctuation patterns also improve adherence to the law. Additionally, the distance distribution between punctuation marks in Chinese texts follows the Weibull model, though larger spacing is less frequent than in English translations. Sentence-ending punctuation, representing sentence length, diverges more from this pattern, reflecting greater flexibility in sentence length. This variability supports the formation of complex, multifractal sentence structures, particularly evident in Gao Xingjian’s ‘Soul Mountain’. These findings demonstrate that both Chinese and Western texts share universal punctuation and word distribution patterns, underscoring their broad applicability across languages.

arxiv情報

著者 Michał Dolina,Jakub Dec,Stanisław Drożdż,Jarosław Kwapień,Jin Liu,Tomasz Stanisz
発行日 2025-03-06 14:04:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Quantifying patterns of punctuation in modern Chinese prose はコメントを受け付けていません

Guiding LLMs to Generate High-Fidelity and High-Quality Counterfactual Explanations for Text Classification

投稿日: 2025年3月7日 作成者: jarxiv

要約

深い学習における解釈可能性の必要性は、反事実的な説明への関心を促進し、モデルの予測を変更するインスタンスへの最小限の変更を特定します。
現在の反事実（CF）生成方法には、タスク固有の微調整が必​​要であり、低品質のテキストを作成します。
大規模な言語モデル（LLM）は、高品質のテキスト生成に効果的ですが、微調整せずにラベルフリッピングの反事実（つまり、予測を変える反事実）との闘いです。
LLMSによる反事実的生成をサポートするための2つの単純な分類器誘導アプローチを導入し、LLMSの強みを維持しながら微調整の必要性を排除します。
それらの単純さにもかかわらず、私たちの方法は最先端の反事実的生成方法を上回り、異なるLLMで効果的であり、分類器情報を使用してLLMSによる反事実的生成を導く利点を強調しています。
さらに、生成されたCFSによるデータ増強が分類器の堅牢性を改善できることを示しています。
私たちの分析は、LLMSによる反事実的生成における重要な問題を明らかにしています。LLMSは、分類器を忠実に追跡するのではなく、パラメトリック知識に依存しています。

要約(オリジナル)

The need for interpretability in deep learning has driven interest in counterfactual explanations, which identify minimal changes to an instance that change a model’s prediction. Current counterfactual (CF) generation methods require task-specific fine-tuning and produce low-quality text. Large Language Models (LLMs), though effective for high-quality text generation, struggle with label-flipping counterfactuals (i.e., counterfactuals that change the prediction) without fine-tuning. We introduce two simple classifier-guided approaches to support counterfactual generation by LLMs, eliminating the need for fine-tuning while preserving the strengths of LLMs. Despite their simplicity, our methods outperform state-of-the-art counterfactual generation methods and are effective across different LLMs, highlighting the benefits of guiding counterfactual generation by LLMs with classifier information. We further show that data augmentation by our generated CFs can improve a classifier’s robustness. Our analysis reveals a critical issue in counterfactual generation by LLMs: LLMs rely on parametric knowledge rather than faithfully following the classifier.

arxiv情報

著者 Van Bach Nguyen,Christin Seifert,Jörg Schlötterer
発行日 2025-03-06 14:15:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Guiding LLMs to Generate High-Fidelity and High-Quality Counterfactual Explanations for Text Classification はコメントを受け付けていません

Generalized Interpolating Discrete Diffusion

投稿日: 2025年3月7日 作成者: jarxiv

要約

最先端の言語モデルは次のトークン予測を通じて印象的な結果を達成しますが、すでに生成されたトークンを修正できないなど、固有の制限があります。
これにより、離散拡散などの代替アプローチの調査が促されました。
しかし、マスクされた拡散は、そのシンプルさと有効性のために人気のある選択肢として浮上しているため、この言葉を修正できないことを再導入します。
これを克服するために、マスクされた拡散を一般化し、一般的な補間別の離散拡散（GIDD）プロセスの家族の理論的バックボーンを導き出し、ノーシングプロセスの設計においてより柔軟性を提供します。
新規拡散エルボを活用して、拡散言語モデリングにおけるコンピューティングマッチの最先端のパフォーマンスを実現します。
GIDDの柔軟性を活用して、マスキングと均一なノイズを組み合わせたハイブリッドアプローチを探り、サンプルの品質を改善し、モデルが独自のミスを修正する能力を解き放ちます。
私たちのコードとモデルはオープンソースです：https：//github.com/dvruette/gidd/

要約(オリジナル)

While state-of-the-art language models achieve impressive results through next-token prediction, they have inherent limitations such as the inability to revise already generated tokens. This has prompted exploration of alternative approaches such as discrete diffusion. However, masked diffusion, which has emerged as a popular choice due to its simplicity and effectiveness, reintroduces this inability to revise words. To overcome this, we generalize masked diffusion and derive the theoretical backbone of a family of general interpolating discrete diffusion (GIDD) processes offering greater flexibility in the design of the noising processes. Leveraging a novel diffusion ELBO, we achieve compute-matched state-of-the-art performance in diffusion language modeling. Exploiting GIDD’s flexibility, we explore a hybrid approach combining masking and uniform noise, leading to improved sample quality and unlocking the ability for the model to correct its own mistakes, an area where autoregressive models notoriously have struggled. Our code and models are open-source: https://github.com/dvruette/gidd/

arxiv情報

著者 Dimitri von Rütte,Janis Fluri,Yuhui Ding,Antonio Orvieto,Bernhard Schölkopf,Thomas Hofmann
発行日 2025-03-06 14:30:55+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Generalized Interpolating Discrete Diffusion はコメントを受け付けていません

Large Language Models in Bioinformatics: A Survey

投稿日: 2025年3月7日 作成者: jarxiv

要約

大規模な言語モデル（LLM）はバイオインフォマティクスに革命をもたらし、DNA、RNA、タンパク質、および単一細胞データの高度な分析を可能にします。
この調査では、ゲノムシーケンスモデリング、RNA構造予測、タンパク質関数推論、および単一細胞トランスクリプトミクスに焦点を当てた最近の進歩の系統的レビューを提供します。
一方、データの希少性、計算の複雑さ、クロスオミクスの統合など、いくつかの重要な課題についても説明し、マルチモーダル学習、ハイブリッドAIモデル、臨床アプリケーションなどの将来の方向性を調査します。
包括的な視点を提供することにより、このペーパーでは、バイオインフォマティクスと精密医学の革新を促進するLLMSの変革の可能性を強調しています。

要約(オリジナル)

Large Language Models (LLMs) are revolutionizing bioinformatics, enabling advanced analysis of DNA, RNA, proteins, and single-cell data. This survey provides a systematic review of recent advancements, focusing on genomic sequence modeling, RNA structure prediction, protein function inference, and single-cell transcriptomics. Meanwhile, we also discuss several key challenges, including data scarcity, computational complexity, and cross-omics integration, and explore future directions such as multimodal learning, hybrid AI models, and clinical applications. By offering a comprehensive perspective, this paper underscores the transformative potential of LLMs in driving innovations in bioinformatics and precision medicine.

arxiv情報

著者 Zhenyu Wang,Zikang Wang,Jiyue Jiang,Pengan Chen,Xiangyu Shi,Yu Li
発行日 2025-03-06 14:38:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, q-bio.GN | Large Language Models in Bioinformatics: A Survey はコメントを受け付けていません