FlexDeMo: Decoupled Momentum Optimization for Hybrid Sharded Data Parallel Training

投稿日: 2025年3月19日 作成者: jarxiv

要約

大規模なニューラルネットワークモデルのトレーニングには、多くの場合、いくつかのノードとアクセラレータに分布する広範な計算リソースが必要です。
最近の発見は、勾配の速い移動コンポーネントのみを交換し、局所的に勢いを蓄積するのに十分である可能性があることを示唆しています（分離された運動量、またはデモ）。
ただし、単一のアクセラレータに適合しない大きなモデルを考慮する場合、勾配情報の交換とデモの統合を再考する必要があります。
ここでは、ハイブリッドシャードデータパラレルトレーニング戦略であるFlexDemoを採用することを提案します。これにより、異なる加速器間でノードモデルモデルパラメーターを完全にシャードモデルパラメーターを使用しますが、ノード間通信帯域幅要件は、完全な勾配ではなく高速変動コンポーネントのみを同期することで削減されます。
これにより、以前のハイブリッドシェード戦略とデカップレッドモーメントの利点を効果的に組み合わせます。
私たちの実験結果は、FlexDemoがADAMWを採用したハイブリッドシャードデータ並列トレーニングと検証損失の観点から完全な勾配同期と同等であり、その生存率を示していることを示しています。
さらに、FlexDemoは、ノード間の完全な勾配同期と比較して、トレーニング速度の改善を達成します。
帯域幅が制約された2ノードのセットアップでは、FlexDemoは、完全なグラデーション同期を備えたハイブリッドシャードデータパラレルトレーニングよりも速く、望ましいレベルの検証損失に到達することができます。

要約(オリジナル)

Training large neural network models requires extensive computational resources, often distributed across several nodes and accelerators. Recent findings suggest that it may be sufficient to only exchange the fast moving components of the gradients, while accumulating momentum locally (Decoupled Momentum, or DeMo). However, when considering larger models that do not fit on a single accelerator, the exchange of gradient information and the integration of DeMo needs to be reconsidered. Here, we propose employing a hybrid sharded data parallel training strategy, FlexDeMo, whereby nodes fully shard model parameters locally between different accelerators, while inter-node communication bandwidth requirements are reduced by synchronizing only fast-moving components instead of the full gradients. This effectively combines previous hybrid sharded strategies with the advantages of decoupled momentum. Our experimental results show that FlexDeMo is on par with hybrid sharded data parallel training employing AdamW and full gradient synchronization in terms of validation loss, demonstrating its viability. Furthermore, FlexDeMo achieves improved training speed compared to full gradient synchronization across nodes. In a bandwidth-constrained 2-node setup, FlexDeMo allows reaching desired levels of validation loss faster than hybrid sharded data parallel training with full gradient synchronization.

arxiv情報

著者 Mogens Henrik From,Jacob Nielsen,Lukas Galke,Peter Schneider-Kamp
発行日 2025-03-18 16:00:57+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | FlexDeMo: Decoupled Momentum Optimization for Hybrid Sharded Data Parallel Training はコメントを受け付けていません

A Graph-Enhanced Deep-Reinforcement Learning Framework for the Aircraft Landing Problem

投稿日: 2025年3月19日 作成者: jarxiv

要約

航空機着陸問題（ALP）は、航空機の輸送と管理における挑戦的な問題の1つです。
課題は、コストと遅延が最適化されるように、到着する航空機を順番にスケジュールすることです。
この問題を解決するためのさまざまなソリューションアプローチがあり、そのほとんどはオペレーションリサーチアルゴリズムとメタフルーリスティックに基づいています。
従来の方法は、どちらか一方の要因でより良いパフォーマンスを発揮しますが、リアルタイムの再スケジュールと計算のスケーラビリティを完全に解決する問題が残っています。
このペーパーでは、グラフニューラルネットワークとアクタークリティックアーキテクチャを組み合わせてALPに対処する新しいディープ強化学習（DRL）フレームワークを紹介します。
このペーパーでは、3つの重要な貢献を紹介します。航空機間の時間的および空間的関係を効率的にキャプチャするグラフベースの状態表現、着陸スケジューリングにおける複数の競合する目標を処理するように設計された専門のアクター批判的なアーキテクチャ、および安全性の制約を維持しながら効率的なリソース利用を保証する滑走路バランス戦略。
結果は、訓練されたアルゴリズムがさまざまな問題セットでテストできることを示しており、結果は操作研究アルゴリズムに競争力があることを示しています。
標準のベンチマークデータセットの実験結果は、混合整数プログラミング（MIP）と比較して、計算時間が99.95％減少し、最初のサーブ（FCFS）アプローチを38％上回る滑走路スループットを示しています。
したがって、提案されたソリューションは従来のアプローチに競争力があり、実質的な進歩を達成します。
特に、再訓練を必要とせず、産業展開に特に適しています。
フレームワークは、1秒以内にソリューションを生成する機能により、リアルタイムの再スケジュールを可能にし、航空交通管理の重要な要件に対処します。

要約(オリジナル)

The Aircraft Landing Problem (ALP) is one of the challenging problems in aircraft transportation and management. The challenge is to schedule the arriving aircraft in a sequence so that the cost and delays are optimized. There are various solution approaches to solving this problem, most of which are based on operations research algorithms and meta-heuristics. Although traditional methods perform better on one or the other factors, there remains a problem of solving real-time rescheduling and computational scalability altogether. This paper presents a novel deep reinforcement learning (DRL) framework that combines graph neural networks with actor-critic architectures to address the ALP. This paper introduces three key contributions: A graph-based state representation that efficiently captures temporal and spatial relationships between aircraft, a specialized actor-critic architecture designed to handle multiple competing objectives in landing scheduling, and a runway balance strategy that ensures efficient resource utilization while maintaining safety constraints. The results show that the trained algorithm can be tested on different problem sets and the results are competitive to operation research algorithms. The experimental results on standard benchmark data sets demonstrate a 99.95% reduction in computational time compared to Mixed Integer Programming (MIP) and 38% higher runway throughput over First Come First Serve (FCFS) approaches. Therefore, the proposed solution is competitive to traditional approaches and achieves substantial advancements. Notably, it does not require retraining, making it particularly suitable for industrial deployment. The frameworks capability to generate solutions within 1 second enables real-time rescheduling, addressing critical requirements of air traffic management.

arxiv情報

著者 Vatsal Maru
発行日 2025-03-18 16:08:31+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, cs.SY, eess.SY | A Graph-Enhanced Deep-Reinforcement Learning Framework for the Aircraft Landing Problem はコメントを受け付けていません

Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues

投稿日: 2025年3月19日 作成者: jarxiv

要約

言語駆動型のインスタンスオブジェクトナビゲーションは、具体化されたエージェントにターゲットインスタンスの詳細な説明を提供することにより、人間のユーザーがタスクを開始することを前提としています。
この説明は、ターゲットをシーン内の視覚的に類似したインスタンスと区別するために重要ですが、ナビゲーションが人間に要求される前にそれを提供することができます。
このギャップを埋めるために、コラボレーティブインスタンスオブジェクトナビゲーション（COIN）を紹介します。これは、エージェントが人間との自然なテンプレートのないオープンエンドの対話でナビゲーション中にターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定です。
ナビゲーションポリシーから独立して動作する不確実性の認識（AIUTA）とのエージェントユーザーの相互作用、ビジョン言語モデル（VLMS）および大手言語モデル（LLM）との人間エージェント相互作用の推論に焦点を当てている新しいトレーニングなしの方法、エージェントユーザーの相互作用を提案します。
第一に、オブジェクトの検出時に、自己質問者モデルは、エージェント内の自己学者を開始し、新しい不確実性推定手法で完全かつ正確な観察記述を取得します。
次に、インタラクショントリガーモジュールは、ユーザーの入力を最小限に抑え、ナビゲーションを継続または停止するかどうかを確認するか、ユーザーの入力を最小限に抑えるかを決定します。
評価のために、マルチインスタンスシナリオに挑戦するために設計されたキュレーションされたデータセットを使用して、コインベンチを紹介します。
Coin-Benchは、人間とのオンライン評価と、シミュレートされたユーザーエージェントインタラクションによる再現可能な実験の両方をサポートしています。
コインベンチでは、Aiutaが競争の激しいベースラインとして機能し、既存の言語主導のインスタンスナビゲーション方法が複雑なマルチインスタンスシーンで闘っていることを示します。
コードとベンチマークは、https：//intelligolabs.github.io/coin/で受け入れられると利用可能になります。

要約(オリジナル)

Language-driven instance object navigation assumes that human users initiate the task by providing a detailed description of the target instance to the embodied agent. While this description is crucial for distinguishing the target from visually similar instances in a scene, providing it prior to navigation can be demanding for human. To bridge this gap, we introduce Collaborative Instance object Navigation (CoIN), a new task setting where the agent actively resolve uncertainties about the target instance during navigation in natural, template-free, open-ended dialogues with human. We propose a novel training-free method, Agent-user Interaction with UncerTainty Awareness (AIUTA), which operates independently from the navigation policy, and focuses on the human-agent interaction reasoning with Vision-Language Models (VLMs) and Large Language Models (LLMs). First, upon object detection, a Self-Questioner model initiates a self-dialogue within the agent to obtain a complete and accurate observation description with a novel uncertainty estimation technique. Then, an Interaction Trigger module determines whether to ask a question to the human, continue or halt navigation, minimizing user input. For evaluation, we introduce CoIN-Bench, with a curated dataset designed for challenging multi-instance scenarios. CoIN-Bench supports both online evaluation with humans and reproducible experiments with simulated user-agent interactions. On CoIN-Bench, we show that AIUTA serves as a competitive baseline, while existing language-driven instance navigation methods struggle in complex multi-instance scenes. Code and benchmark will be available upon acceptance at https://intelligolabs.github.io/CoIN/

arxiv情報

著者 Francesco Taioli,Edoardo Zorzi,Gianni Franchi,Alberto Castellini,Alessandro Farinelli,Marco Cristani,Yiming Wang
発行日 2025-03-18 16:09:20+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues はコメントを受け付けていません

Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels

投稿日: 2025年3月19日 作成者: jarxiv

要約

ゲーティングを伴う線形RNNは最近、言語モデリングのトランスと比較して競争力のあるパフォーマンスを実証しました。
シーケンスの長さの線形計算スケーリングは、変圧器よりも理論的なランタイムの利点を提供しますが、これらの利点が実際には非常に効率的なフラッシュ注意カーネルに依存しているため、最適化されたカスタムカーネルが必要です。
線形RNNのチャンクワイズパラレル配合を活用すると、フラッシュ線形注意（FLA）は、入力シーケンスのチャンクを並列化することにより、線形RNNカーネルがフラッシュの注意よりも高速であることを示しています。
ただし、FLAのチャンクサイズは限られているため、多くの中間状態をGPU​​メモリで実現する必要があります。
これにより、算術強度が低くなり、特に長いコンテキストの事前トレーニングでは、メモリ消費量が高くなり、IOコストが発生します。
この作業では、各チャンク内に追加のレベルのシーケンス並列化を導入することにより、任意の大きなチャンクサイズを可能にする、線形RNNの新しいカーネルアルゴリズムであるタイル張りのフラッシュリニアメント（TFLA）を提示します。
まず、MLSTMを使用してXLSTMにTFLAを適用します。
第二に、Sigmoid入力ゲートを備えたMLSTMバリアントを提案し、同じ言語モデリングパフォーマンスでさらに速いカーネルランタイムの計算を削減します。
スピードベンチマークでは、TFLAに基づいた新しいMLSTMカーネルが、高度に最適化されたフラッシュの注意、線形注意、およびマンバカーネルを上回り、効率的な長いコンテキストシーケンスモデリングプリミティブの新しい最新技術を設定することを示します。

要約(オリジナル)

Linear RNNs with gating recently demonstrated competitive performance compared to Transformers in language modeling. Although their linear compute scaling in sequence length offers theoretical runtime advantages over Transformers, realizing these benefits in practice requires optimized custom kernels, as Transformers rely on the highly efficient Flash Attention kernels. Leveraging the chunkwise-parallel formulation of linear RNNs, Flash Linear Attention (FLA) shows that linear RNN kernels are faster than Flash Attention, by parallelizing over chunks of the input sequence. However, since the chunk size of FLA is limited, many intermediate states must be materialized in GPU memory. This leads to low arithmetic intensity and causes high memory consumption and IO cost, especially for long-context pre-training. In this work, we present Tiled Flash Linear Attention (TFLA), a novel kernel algorithm for linear RNNs, that enables arbitrary large chunk sizes by introducing an additional level of sequence parallelization within each chunk. First, we apply TFLA to the xLSTM with matrix memory, the mLSTM. Second, we propose an mLSTM variant with sigmoid input gate and reduced computation for even faster kernel runtimes at equal language modeling performance. In our speed benchmarks, we show that our new mLSTM kernels based on TFLA outperform highly optimized Flash Attention, Linear Attention and Mamba kernels, setting a new state of the art for efficient long-context sequence modeling primitives.

arxiv情報

著者 Maximilian Beck,Korbinian Pöppel,Phillip Lippe,Sepp Hochreiter
発行日 2025-03-18 16:09:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels はコメントを受け付けていません

Conformal Prediction and Human Decision Making

投稿日: 2025年3月19日 作成者: jarxiv

要約

任意のモデルからの予測の不確実性を定量化する方法は、医学や金融などのハイステークスドメインで需要があります。
単一の予測値と信頼値の代わりに、特定の平均カバレッジを使用して、一連の予測を生成するための一般的な予測方法として、コンフォーマル予測が浮上しています。
ただし、人間の決定を支援するコンフォーマル予測の価値は、カバレッジ保証と意思決定者の目標と戦略の間の暗い関係のために、とらえどころのないままです。
コンフォーマル予測セットを意思決定支援の一形態としてどのように考える必要がありますか？
予測不確実性を有益なシグナルとして評価するための決定理論的枠組みの概要を説明し、このフレームワーク内でキャリブレーションされた確率の理想化された使用とコンフォーマル予測セットの理想的な使用について対比します。
不確実性の下での以前の経験的結果と人間の決定の理論によって通知され、意思決定者が予測セットを使用する可能性のある一連の戦略を正式にします。
コンフォーマル予測セットとポストホック予測不確実性の定量化が、より広くより広く緊張している方法を特定します。
人間の意思決定者をサポートするために、予測不確実性の定量化に関する将来の研究に関する推奨事項を提供します。

要約(オリジナル)

Methods to quantify uncertainty in predictions from arbitrary models are in demand in high-stakes domains like medicine and finance. Conformal prediction has emerged as a popular method for producing a set of predictions with specified average coverage, in place of a single prediction and confidence value. However, the value of conformal prediction sets to assist human decisions remains elusive due to the murky relationship between coverage guarantees and decision makers’ goals and strategies. How should we think about conformal prediction sets as a form of decision support? We outline a decision theoretic framework for evaluating predictive uncertainty as informative signals, then contrast what can be said within this framework about idealized use of calibrated probabilities versus conformal prediction sets. Informed by prior empirical results and theories of human decisions under uncertainty, we formalize a set of possible strategies by which a decision maker might use a prediction set. We identify ways in which conformal prediction sets and posthoc predictive uncertainty quantification more broadly are in tension with common goals and needs in human-AI decision making. We give recommendations for future research in predictive uncertainty quantification to support human decision makers.

arxiv情報

著者 Jessica Hullman,Yifan Wu,Dawei Xie,Ziyang Guo,Andrew Gelman
発行日 2025-03-18 16:16:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.ML | Conformal Prediction and Human Decision Making はコメントを受け付けていません

Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models

投稿日: 2025年3月19日 作成者: jarxiv

要約

大規模な言語モデルの開発は、トレイン前のアライメントパラダイムの形成につながります。このパラダイムでは、モデルは通常、大きなテキストコーパスで事前に訓練され、モデルを人間の好みまたは下流タスクに合わせてチューニング段階を導きます。
この作業では、複数の中間訓練を受けたモデルチェックポイントを微調整することにより、トレーニング前と微調整の関係を調査します。
18のデータセットでの結果は、i）継続的なトレーニングがモデルを微調整後に発表する潜在的な方法でモデルを改善することを示唆しています。
ii）余分な微調整により、モデルが能力を実証していないデータセットは、トレーニング前の段階でモデルがうまく機能するものよりもはるかに多く獲得します。
iii）モデルは監視された微調整を通じて大幅に利益をもたらしますが、以前に知られているドメインの知識と微調整中に見られないタスクを忘れるかもしれません。
iv）このモデルは、監視された微調整後の評価プロンプトに対する高い感度に似ていますが、この感度はより多くのトレーニングによって緩和される可能性があります。

要約(オリジナル)

The development of large language models leads to the formation of a pre-train-then-align paradigm, in which the model is typically pre-trained on a large text corpus and undergoes a tuning stage to align the model with human preference or downstream tasks. In this work, we investigate the relationship between pre-training and fine-tuning by fine-tuning multiple intermediate pre-trained model checkpoints. Our results on 18 datasets suggest that i) continual pre-training improves the model in a latent way that unveils after fine-tuning; ii) with extra fine-tuning, the datasets that the model does not demonstrate capability gain much more than those that the model performs well during the pre-training stage; iii) although model benefits significantly through supervised fine-tuning, it may forget previously known domain knowledge and the tasks that are not seen during fine-tuning; iv) the model resembles high sensitivity to evaluation prompts after supervised fine-tuning, but this sensitivity can be alleviated by more pre-training.

arxiv情報

著者 Kaiser Sun,Mark Dredze
発行日 2025-03-18 16:21:04+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models はコメントを受け付けていません

Towards Aligning Language Models with Textual Feedback

投稿日: 2025年3月19日 作成者: jarxiv

要約

ALT（テキストフィードバックとの整合）を提示します。これは、言語モデルをテキストで表現されたユーザー設定に合わせるアプローチです。
テキストはより大きな表現力を提供し、ユーザーが単純な比較選好よりも豊かなフィードバックを提供できるようにし、この豊かなフィードバックはより効率的で効果的なアライメントにつながる可能性があると主張します。
Altは、テキストフィードバックに生成を条件に条件付けすることにより、モデルを整列させます。
私たちの方法は、言語モデリング手法のみに依存しており、最小限のハイパーパラメーターチューニングを必要としますが、RLベースのアライメントアルゴリズムの主な利点を提示し、テキストフィードバックから効果的に学習できます。
毒性削減、要約、ダイアログ応答の生成など、さまざまなタスクにわたるテキストフィードバックの有効性と効率を調査します。
ALTは、サンプルの20％のみで要約のパフォーマンスを一致させることができる一方で、毒性の低下のタスクに対してPPOを上回ることがわかります。
また、既存のLLMが提供するフィードバックでALTを使用する方法を探り、制約されていないテキストフィードバックを提供するLLMを探索します。
また、モデルを自然言語のフィードバックに合わせるための将来の方向性を概説します。

要約(オリジナル)

We present ALT (ALignment with Textual feedback), an approach that aligns language models with user preferences expressed in text. We argue that text offers greater expressiveness, enabling users to provide richer feedback than simple comparative preferences and this richer feedback can lead to more efficient and effective alignment. ALT aligns the model by conditioning its generation on the textual feedback. Our method relies solely on language modeling techniques and requires minimal hyper-parameter tuning, though it still presents the main benefits of RL-based alignment algorithms and can effectively learn from textual feedback. We explore the efficacy and efficiency of textual feedback across different tasks such as toxicity reduction, summarization, and dialog response generation. We find that ALT outperforms PPO for the task of toxicity reduction while being able to match its performance on summarization with only 20% of the samples. We also explore how ALT can be used with feedback provided by an existing LLM where we explore an LLM providing constrained and unconstrained textual feedback. We also outline future directions to align models with natural language feedback.

arxiv情報

著者 Saüc Abadal Lloret,Shehzaad Dhuliawala,Keerthiram Murugesan,Mrinmaya Sachan
発行日 2025-03-18 16:34:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.LG | Towards Aligning Language Models with Textual Feedback はコメントを受け付けていません

To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation

投稿日: 2025年3月19日 作成者: jarxiv

要約

検索された生成は、モデルの固有の能力を超えて情報を組み込むことにより、外部の知識を取得する能力を大規模な言語モデルに装備し、それにより幻覚を軽減します。
ただし、ほとんどの以前の作品は、決定論的に検索を呼び出すことに焦点を当てているため、長い形式の質問応答などのタスクには適していません。
代わりに、基礎となるLLMに必要な知識がより効率的になる場合にのみ、それを呼び出すことにより、検索を動的に実行します。
これに関連して、私たちは「回収するかどうかを取得するかしないか」という質問をより深く掘り下げます。
複数の不確実性検出方法を調査することにより。
これらの方法を、ダイナミック検索を採用し、比較を提示する長い形式の質問応答のタスクを評価します。
我々の調査結果は、程度マトリックスジャッカードやエキセントリックなどの不確実性検出メトリックが、質問を解決する精度をわずかに減らすだけで、検索コールの数をほぼ半分に減らすことができることを示唆しています。

要約(オリジナル)

Retrieval-Augmented Generation equips large language models with the capability to retrieve external knowledge, thereby mitigating hallucinations by incorporating information beyond the model’s intrinsic abilities. However, most prior works have focused on invoking retrieval deterministically, which makes it unsuitable for tasks such as long-form question answering. Instead, dynamically performing retrieval by invoking it only when the underlying LLM lacks the required knowledge can be more efficient. In this context, we delve deeper into the question, ‘To Retrieve or Not to Retrieve?’ by exploring multiple uncertainty detection methods. We evaluate these methods for the task of long-form question answering, employing dynamic retrieval, and present our comparisons. Our findings suggest that uncertainty detection metrics, such as Degree Matrix Jaccard and Eccentricity, can reduce the number of retrieval calls by almost half, with only a slight reduction in question-answering accuracy.

arxiv情報

著者 Kaustubh D. Dhole
発行日 2025-03-18 16:42:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.IR, H.3.3 | To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation はコメントを受け付けていません

The global landscape of academic guidelines for generative AI and Large Language Models

投稿日: 2025年3月19日 作成者: jarxiv

要約

学界における生成人工知能（GAI）および大規模な言語モデル（LLMS）の統合は、潜在的な教育的利益と倫理的考慮事項に関する世界的な言説を促進しました。
肯定的な反応は、共同の創造性、教育へのアクセスの増加、トレーナーと研修生のエンパワーメントなど、いくつかの可能性を強調しています。
しかし、否定的な反応は、倫理的な複雑さ、革新と学問の完全性のバランス、不平等なアクセス、誤った情報のリスクに関する懸念を引き起こします。
グローバルおよび国家指令の体系的な調査とテキストマイニングベースの分析、独立した研究からの洞察、および80の大学レベルのガイドラインを通じて、この研究は、教育におけるGAIとLLMSがもたらす機会と課題についての微妙な理解を提供します。
倫理的な考慮事項に対処し、公平なアクセスと教育結果を確保しながら、これらの技術の利点を活用するバランスの取れたアプローチの重要性を強調しています。
この論文は、アカデミアにおけるGAIとLLMSの統合を導くための責任ある革新と倫理的慣行を促進するための推奨事項で締めくくります。

要約(オリジナル)

The integration of Generative Artificial Intelligence (GAI) and Large Language Models (LLMs) in academia has spurred a global discourse on their potential pedagogical benefits and ethical considerations. Positive reactions highlight some potential, such as collaborative creativity, increased access to education, and empowerment of trainers and trainees. However, negative reactions raise concerns about ethical complexities, balancing innovation and academic integrity, unequal access, and misinformation risks. Through a systematic survey and text-mining-based analysis of global and national directives, insights from independent research, and eighty university-level guidelines, this study provides a nuanced understanding of the opportunities and challenges posed by GAI and LLMs in education. It emphasizes the importance of balanced approaches that harness the benefits of these technologies while addressing ethical considerations and ensuring equitable access and educational outcomes. The paper concludes with recommendations for fostering responsible innovation and ethical practices to guide the integration of GAI and LLMs in academia.

arxiv情報

著者 Junfeng Jiao,Saleh Afroogh,Kevin Chen,David Atkinson,Amit Dhurandhar
発行日 2025-03-18 16:42:30+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL, cs.CY | The global landscape of academic guidelines for generative AI and Large Language Models はコメントを受け付けていません

Unifying Text Semantics and Graph Structures for Temporal Text-attributed Graphs with Large Language Models

投稿日: 2025年3月19日 作成者: jarxiv

要約

時間グラフニューラルネットワーク（TGNNS）は、時間グラフモデリングで顕著なパフォーマンスを示しています。
ただし、実際の一時的なグラフには豊富なテキスト情報が含まれていることが多く、一時的なテキストアトリブグラフ（TTAG）が生じます。
このような動的テキストセマンティクスと進化するグラフ構造の組み合わせにより、複雑さが高まります。
既存のTGNNSは、テキストを静的に埋め込み、構造情報に偏って優先順位を付けるエンコードメカニズムに大きく依存し、テキストセマンティクスの時間的進化と、相乗的強化のためのセマンティクスと構造との本質的な相互作用を見落としています。
これらの問題に取り組むために、TTAGモデリングのために既存のTGNNをシームレスに拡張する新しいフレームワークである\ textBf {{Cross}}を提示します。
重要なアイデアは、高度な大手言語モデル（LLMS）を使用してテキスト空間で動的なセマンティクスを抽出し、セマンティクスと構造の両方を統一する表現型表現を生成することです。
具体的には、{Cross}フレームワークに一時的なセマンティクス抽出器を提案します。これにより、LLMは、テキスト近隣のノードの進化するコンテキストの時間的セマンティックな理解を提供し、セマンティックダイナミクスを促進します。
その後、セマンティック構造の共同エンコーダーを紹介します。セマンティック構造の共同エンコーダーは、上記の抽出器と協力して、相互補強を奨励しながらセマンティック情報と構造情報の両方を共同で検討することにより、照明表現を合成するために協力します。
4つのパブリックデータセットと1つの実用的な産業データセットでの広範な実験結果は、{Cross}の重要な有効性と堅牢性を示しています。

要約(オリジナル)

Temporal graph neural networks (TGNNs) have shown remarkable performance in temporal graph modeling. However, real-world temporal graphs often possess rich textual information, giving rise to temporal text-attributed graphs (TTAGs). Such combination of dynamic text semantics and evolving graph structures introduces heightened complexity. Existing TGNNs embed texts statically and rely heavily on encoding mechanisms that biasedly prioritize structural information, overlooking the temporal evolution of text semantics and the essential interplay between semantics and structures for synergistic reinforcement. To tackle these issues, we present \textbf{{Cross}}, a novel framework that seamlessly extends existing TGNNs for TTAG modeling. The key idea is to employ the advanced large language models (LLMs) to extract the dynamic semantics in text space and then generate expressive representations unifying both semantics and structures. Specifically, we propose a Temporal Semantics Extractor in the {Cross} framework, which empowers the LLM to offer the temporal semantic understanding of node’s evolving contexts of textual neighborhoods, facilitating semantic dynamics. Subsequently, we introduce the Semantic-structural Co-encoder, which collaborates with the above Extractor for synthesizing illuminating representations by jointly considering both semantic and structural information while encouraging their mutual reinforcement. Extensive experimental results on four public datasets and one practical industrial dataset demonstrate {Cross}’s significant effectiveness and robustness.

arxiv情報

著者 Siwei Zhang,Yun Xiong,Yateng Tang,Xi Chen,Zian Jia,Zehao Gu,Jiarong Xu,Jiawei Zhang
発行日 2025-03-18 16:50:10+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Unifying Text Semantics and Graph Structures for Temporal Text-attributed Graphs with Large Language Models はコメントを受け付けていません