LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory

投稿日: 2024年10月15日 作成者: jarxiv

要約

最近の大規模言語モデル (LLM) ベースのチャット アシスタント システムには、ユーザー アシスタントのチャット履歴を追跡するためのメモリ コンポーネントが統合されており、より正確でパーソナライズされた応答が可能になります。
しかし、持続的な相互作用における彼らの長期記憶能力はまだ研究されていません。
このペーパーでは、チャット アシスタントの 5 つの中核となる長期記憶能力 (情報抽出、マルチセッション推論、時間的推論、知識の更新、棄権) を評価するために設計された包括的なベンチマークである LongMemEval を紹介します。
LongMemEval は、自由に拡張可能なユーザー アシスタントのチャット履歴に 500 の綿密に精選された質問が埋め込まれているため、既存の長期記憶システムに重大な課題を提示しており、市販のチャット アシスタントやロングコンテキスト LLM では、継続的な対話にわたる情報の記憶精度が 30% 低下することが示されています。
次に、長期メモリ設計を、インデックス作成、検索、読み取りの各段階にわたる 4 つの設計選択肢に分類する統一フレームワークを提示します。
重要な実験的洞察に基づいて、値の粒度を最適化するためのセッション分解、インデックス構造を強化するためのファクト拡張キー拡張、検索範囲を調整するための時間認識クエリ拡張など、いくつかのメモリ設計を提案します。
実験結果は、これらの最適化により、記憶想起と LongMemEval での下流の質問応答の両方が大幅に改善されることを示しています。
全体として、私たちの研究は、LLM ベースのチャット アシスタントの長期記憶機能を向上させ、よりパーソナライズされた信頼性の高い会話型 AI への道を開くための貴重なリソースとガイダンスを提供します。

要約(オリジナル)

Recent large language model (LLM)-driven chat assistant systems have integrated memory components to track user-assistant chat histories, enabling more accurate and personalized responses. However, their long-term memory capabilities in sustained interactions remain underexplored. This paper introduces LongMemEval, a comprehensive benchmark designed to evaluate five core long-term memory abilities of chat assistants: information extraction, multi-session reasoning, temporal reasoning, knowledge updates, and abstention. With 500 meticulously curated questions embedded within freely scalable user-assistant chat histories, LongMemEval presents a significant challenge to existing long-term memory systems, with commercial chat assistants and long-context LLMs showing 30% accuracy drop on memorizing information across sustained interactions. We then present a unified framework that breaks down the long-term memory design into four design choices across the indexing, retrieval, and reading stages. Built upon key experimental insights, we propose several memory designs including session decomposition for optimizing value granularity, fact-augmented key expansion for enhancing the index structure, and time-aware query expansion for refining the search scope. Experiment results show that these optimizations greatly improve both memory recall and downstream question answering on LongMemEval. Overall, our study provides valuable resources and guidance for advancing the long-term memory capabilities of LLM-based chat assistants, paving the way toward more personalized and reliable conversational AI.

arxiv情報

著者 Di Wu,Hongwei Wang,Wenhao Yu,Yuwei Zhang,Kai-Wei Chang,Dong Yu
発行日 2024-10-14 17:59:44+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory はコメントを受け付けていません

DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads

投稿日: 2024年10月15日 作成者: jarxiv

要約

ロングコンテキストの大規模言語モデル (LLM) のデプロイは不可欠ですが、計算とメモリに重大な課題が生じます。
すべてのアテンション ヘッドにわたってすべてのキーと値 (KV) 状態をキャッシュすると、大量のメモリが消費されます。
既存の KV キャッシュ プルーニング手法は、LLM のロングコンテキスト機能を損なうか、限られた効率改善しか提供しません。
この論文では、アテンション ヘッド (別名検索ヘッド) の一部のみが長いコンテキストの処理に重要であり、すべてのトークンにわたって完全なアテンションを必要とすることを特定します。
対照的に、他のすべてのヘッドは主に最近のトークンとアテンション シンクに焦点を当てており、ストリーミング ヘッドと呼ばれますが、完全な注意を必要としません。
この洞察に基づいて、ストリーミング ヘッドには軽量で一定長の KV キャッシュを使用しながら、取得ヘッドには完全な KV キャッシュのみを適用するフレームワークである DuoAttend を導入します。これにより、LLM のデコードと事前充填メモリとレイテンシの両方が削減されます。
長いコンテキストの能力が損なわれます。
DuoAttention は、合成データを使用した軽量の最適化ベースのアルゴリズムを使用して、取得ヘッドを正確に識別します。
私たちの手法は、ロングコンテキスト推論メモリを MHA モデルで最大 2.55 倍、GQA モデルで 1.67 倍大幅に削減すると同時に、デコードを最大 2.18 倍と 1.50 倍高速化し、事前充填を MHA モデルで最大 1.73 倍と 1.63 倍高速化します。
それぞれ、GQA モデルは、完全に注意を払った場合と比較して、精度の損失が最小限に抑えられます。
特に、量子化と組み合わせて、DuoAttend を使用すると、単一の A100 GPU で 330 万コンテキスト長の Llama-3-8B デコードが可能になります。
コードは https://github.com/mit-han-lab/duo-attention で提供されます。

要約(オリジナル)

Deploying long-context large language models (LLMs) is essential but poses significant computational and memory challenges. Caching all Key and Value (KV) states across all attention heads consumes substantial memory. Existing KV cache pruning methods either damage the long-context capabilities of LLMs or offer only limited efficiency improvements. In this paper, we identify that only a fraction of attention heads, a.k.a, Retrieval Heads, are critical for processing long contexts and require full attention across all tokens. In contrast, all other heads, which primarily focus on recent tokens and attention sinks–referred to as Streaming Heads–do not require full attention. Based on this insight, we introduce DuoAttention, a framework that only applies a full KV cache to retrieval heads while using a light-weight, constant-length KV cache for streaming heads, which reduces both LLM’s decoding and pre-filling memory and latency without compromising its long-context abilities. DuoAttention uses a lightweight, optimization-based algorithm with synthetic data to identify retrieval heads accurately. Our method significantly reduces long-context inference memory by up to 2.55x for MHA and 1.67x for GQA models while speeding up decoding by up to 2.18x and 1.50x and accelerating pre-filling by up to 1.73x and 1.63x for MHA and GQA models, respectively, with minimal accuracy loss compared to full attention. Notably, combined with quantization, DuoAttention enables Llama-3-8B decoding with 3.3 million context length on a single A100 GPU. Code is provided in https://github.com/mit-han-lab/duo-attention.

arxiv情報

著者 Guangxuan Xiao,Jiaming Tang,Jingwei Zuo,Junxian Guo,Shang Yang,Haotian Tang,Yao Fu,Song Han
発行日 2024-10-14 17:59:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads はコメントを受け付けていません

F2A: An Innovative Approach for Prompt Injection by Utilizing Feign Security Detection Agents

投稿日: 2024年10月15日 作成者: jarxiv

要約

大規模言語モデル (LLM) の急速な発展に伴い、コンテンツの安全性検出の分野で LLM の成熟したアプリケーションが多数登場しています。
しかし、LLM は安全性検出エージェントに対して盲目的な信頼を示していることがわかりました。
この脆弱性により、一般的な LLM がハッカーによって侵害される可能性があります。
そこで、この論文では、Feign Agent Attack (F2A) と呼ばれる攻撃を提案しました。このような悪意のある偽造手法により、プロンプトに偽の安全検出結果を追加することで、LLM の防御メカニズムが回避され、有害なコンテンツが取得され、通常の会話がハイジャックされる可能性があります。
引き続き、一連の実験が行われました。
これらの実験では、LLM に対する F2A のハイジャック能力が分析および実証され、LLM が安全性検出結果を盲目的に信頼する根本的な理由が調査されました。
実験には、偽の安全性検出結果がプロンプトに挿入されるさまざまなシナリオが含まれ、脆弱性の範囲を理解するために応答が注意深く監視されました。
また、この文書では、この攻撃に対する合理的な解決策を提供し、LLM が有害なコンテンツの生成を防ぐために拡張エージェントの結果を批判的に評価することが重要であることを強調しました。
これにより、信頼性とセキュリティが大幅に向上し、LLM を F2A から保護できます。

要約(オリジナル)

With the rapid development of Large Language Models (LLMs), numerous mature applications of LLMs have emerged in the field of content safety detection. However, we have found that LLMs exhibit blind trust in safety detection agents. The general LLMs can be compromised by hackers with this vulnerability. Hence, this paper proposed an attack named Feign Agent Attack (F2A).Through such malicious forgery methods, adding fake safety detection results into the prompt, the defense mechanism of LLMs can be bypassed, thereby obtaining harmful content and hijacking the normal conversation. Continually, a series of experiments were conducted. In these experiments, the hijacking capability of F2A on LLMs was analyzed and demonstrated, exploring the fundamental reasons why LLMs blindly trust safety detection results. The experiments involved various scenarios where fake safety detection results were injected into prompts, and the responses were closely monitored to understand the extent of the vulnerability. Also, this paper provided a reasonable solution to this attack, emphasizing that it is important for LLMs to critically evaluate the results of augmented agents to prevent the generating harmful content. By doing so, the reliability and security can be significantly improved, protecting the LLMs from F2A.

arxiv情報

著者 Yupeng Ren
発行日 2024-10-14 15:04:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CR | F2A: An Innovative Approach for Prompt Injection by Utilizing Feign Security Detection Agents はコメントを受け付けていません

Neural networks that overcome classic challenges through practice

投稿日: 2024年10月15日 作成者: jarxiv

要約

心と脳のニューラルネットワークモデルの初期の提案以来、批評家は人間の認知能力と比較したこれらのモデルの重要な弱点を指摘してきました。
ここでは、これらの課題のいくつかを克服するためにメタルラーニングを使用した最近の研究をレビューします。
私たちは、彼らの成功を、重要な発達上の問題に対処したものとして特徴付けます。つまり、彼らは、X の明示的な最適化を通じて、X (X は望ましい機能を表します) を改善するインセンティブとそれを実践する機会をマシンに提供します。
関連するが異なる目的からの一般化を通じて X を達成することを期待する従来のアプローチとは異なります。
我々は、体系性、壊滅的な忘却、少数回学習、多段階推論という 4 つの古典的な課題へのこの原則の適用を検討します。
また、自然環境における人間の発達の関連する側面についても説明します。

要約(オリジナル)

Since the earliest proposals for neural network models of the mind and brain, critics have pointed out key weaknesses in these models compared to human cognitive abilities. Here we review recent work that has used metalearning to help overcome some of these challenges. We characterize their successes as addressing an important developmental problem: they provide machines with an incentive to improve X (where X represents the desired capability) and opportunities to practice it, through explicit optimization for X; unlike conventional approaches that hope for achieving X through generalization from related but different objectives. We review applications of this principle to four classic challenges: systematicity, catastrophic forgetting, few-shot learning and multi-step reasoning; we also discuss related aspects of human development in natural environments.

arxiv情報

著者 Kazuki Irie,Brenden M. Lake
発行日 2024-10-14 15:07:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, q-bio.NC | Neural networks that overcome classic challenges through practice はコメントを受け付けていません

Scaling Manipulation Learning with Visual Kinematic Chain Prediction

投稿日: 2024年10月15日 作成者: jarxiv

要約

多様なデータセットから汎用モデルを学習することは、機械学習において大きな成功を収めています。
しかし、ロボット工学では、マルチタスク学習における既存の手法は通常、単一のロボットとワークスペースに制限されていますが、RT-X などの最近の研究では、多様な環境における異なるアクション スペース間のギャップを手動で埋めるために、重要なアクション正規化手順が必要です。
。
この論文では、多様な環境でのロボット学習のための準静的動作の正確かつ普遍的な表現として視覚運動連鎖を提案します。視覚運動連鎖はロボットのモデルとカメラパラメータから自動的に取得できるため、手動調整は必要ありません。
私たちは、任意の数のカメラ視点をサポートし、最適な点セットのマッチングを通じて運動学的構造を予測するという単一の目的でトレーニングされる畳み込みフリーのアーキテクチャである Visual Kinematics Transformer (VKT) を提案します。
当社は、Calvin、RLBench、Open-X、および実際のロボット操作タスクの一般エージェントとして、BC トランスフォーマーよりも VKT の優れたパフォーマンスを実証します。
ビデオデモは https://mlzxy.github.io/visual-kinetic-chain でご覧いただけます。

要約(オリジナル)

Learning general-purpose models from diverse datasets has achieved great success in machine learning. In robotics, however, existing methods in multi-task learning are typically constrained to a single robot and workspace, while recent work such as RT-X requires a non-trivial action normalization procedure to manually bridge the gap between different action spaces in diverse environments. In this paper, we propose the visual kinematics chain as a precise and universal representation of quasi-static actions for robot learning over diverse environments, which requires no manual adjustment since the visual kinematic chains can be automatically obtained from the robot’s model and camera parameters. We propose the Visual Kinematics Transformer (VKT), a convolution-free architecture that supports an arbitrary number of camera viewpoints, and that is trained with a single objective of forecasting kinematic structures through optimal point-set matching. We demonstrate the superior performance of VKT over BC transformers as a general agent on Calvin, RLBench, Open-X, and real robot manipulation tasks. Video demonstrations can be found at https://mlzxy.github.io/visual-kinetic-chain.

arxiv情報

著者 Xinyu Zhang,Yuhan Liu,Haonan Chang,Abdeslam Boularias
発行日 2024-10-14 15:17:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.RO | Scaling Manipulation Learning with Visual Kinematic Chain Prediction はコメントを受け付けていません

Intelligent prospector v2.0: exploration drill planning under epistemic model uncertainty

投稿日: 2024年10月15日 作成者: jarxiv

要約

どの地球科学データを取得するかについて最適なベイジアン意思決定を行うには、不確実性の事前モデルを記述する必要があります。
次に、対象の特性に関する不確実性を最大限かつ平均的に低減することにより、データ取得が最適化されます。
探索のコンテキストでは、データ取得計画の前に利用できるデータはほとんどなく、場合によってはまったくデータが存在しないこともあります。
したがって、以前のモデルには、空間変動の性質、または調査対象の領域に関連すると思われるアナログ データに関する人間の解釈を含める必要があります。
たとえば、鉱物探査では、人間は鉱化作用の起源に関する概念モデルに依存して、それぞれが鉱化作用の特定の空間変動を表す複数の仮説を定義することがあります。
多くの場合、データが取得された後、述べられたすべての仮説が間違っている、つまり改ざんされていることが判明する可能性があるため、以前の仮説を修正するか、追加の仮説を生成する必要があります。
間違った地質学的事前条件に基づいてデータ収集を計画することは、ターゲット特性の推定不確実性が不正確であり、したがって不確実性がまったく低減されない可能性があるため、非効率となる可能性があります。
この論文では、空間変動の性質に関する複数の地質学的または地球科学的仮説の場合に最適に計画する、部分的に観察可能なマルコフ決定プロセスに基づいたインテリジェント エージェントを開発します。
さらに、人工知能には、人間が述べた仮説が間違っているかどうかを早期に検出できる方法が装備されているため、データ取得にかかる費用を大幅に節約できます。
私たちのアプローチは堆積物に覆われた銅鉱床でテストされ、提示されたアルゴリズムは 2023 年のザンビアの超高品位鉱床の特性評価に役立ちました。

要約(オリジナル)

Optimal Bayesian decision making on what geoscientific data to acquire requires stating a prior model of uncertainty. Data acquisition is then optimized by reducing uncertainty on some property of interest maximally, and on average. In the context of exploration, very few, sometimes no data at all, is available prior to data acquisition planning. The prior model therefore needs to include human interpretations on the nature of spatial variability, or on analogue data deemed relevant for the area being explored. In mineral exploration, for example, humans may rely on conceptual models on the genesis of the mineralization to define multiple hypotheses, each representing a specific spatial variability of mineralization. More often than not, after the data is acquired, all of the stated hypotheses may be proven incorrect, i.e. falsified, hence prior hypotheses need to be revised, or additional hypotheses generated. Planning data acquisition under wrong geological priors is likely to be inefficient since the estimated uncertainty on the target property is incorrect, hence uncertainty may not be reduced at all. In this paper, we develop an intelligent agent based on partially observable Markov decision processes that plans optimally in the case of multiple geological or geoscientific hypotheses on the nature of spatial variability. Additionally, the artificial intelligence is equipped with a method that allows detecting, early on, whether the human stated hypotheses are incorrect, thereby saving considerable expense in data acquisition. Our approach is tested on a sediment-hosted copper deposit, and the algorithm presented has aided in the characterization of an ultra high-grade deposit in Zambia in 2023.

arxiv情報

著者 John Mern,Anthony Corso,Damian Burch,Kurt House,Jef Caers
発行日 2024-10-14 15:17:29+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI | Intelligent prospector v2.0: exploration drill planning under epistemic model uncertainty はコメントを受け付けていません

Modeling News Interactions and Influence for Financial Market Prediction

投稿日: 2024年10月15日 作成者: jarxiv

要約

金融ニュースの市場価格への拡散は複雑なプロセスであるため、ニュースイベントと市場の動きの関係を評価することが困難になります。
本稿では、ニュースと価格の関連性だけでなく、ニュース項目自体の相互作用も捉える新しい市場予測モデル、FININ (Financial Interconnected News Influence Network) を紹介します。
FININ は、市場データとニュース記事の両方からのマルチモーダル情報を効果的に統合します。
私たちは、15 年間にわたる S&P 500 指数とナスダック 100 指数、および 270 万件を超えるニュース記事を含む 2 つのデータセットに対して広範な実験を実施しました。
この結果は、FININ の有効性を示しており、2 つの市場の日次シャープ レシオがそれぞれ 0.429 および 0.341 向上し、高度な市場予測モデルを上回っています。
さらに、私たちの結果は、ニュースの市場価格設定の遅れ、ニュースの長期記憶効果、ニュースデータから予測力を完全に引き出す際の金融センチメント分析の限界など、金融ニュースに関する洞察を明らかにします。

要約(オリジナル)

The diffusion of financial news into market prices is a complex process, making it challenging to evaluate the connections between news events and market movements. This paper introduces FININ (Financial Interconnected News Influence Network), a novel market prediction model that captures not only the links between news and prices but also the interactions among news items themselves. FININ effectively integrates multi-modal information from both market data and news articles. We conduct extensive experiments on two datasets, encompassing the S&P 500 and NASDAQ 100 indices over a 15-year period and over 2.7 million news articles. The results demonstrate FININ’s effectiveness, outperforming advanced market prediction models with an improvement of 0.429 and 0.341 in the daily Sharpe ratio for the two markets respectively. Moreover, our results reveal insights into the financial news, including the delayed market pricing of news, the long memory effect of news, and the limitations of financial sentiment analysis in fully extracting predictive power from news data.

arxiv情報

著者 Mengyu Wang,Shay B. Cohen,Tiejun Ma
発行日 2024-10-14 15:19:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CE, cs.CL, q-fin.CP | Modeling News Interactions and Influence for Financial Market Prediction はコメントを受け付けていません

Thinking LLMs: General Instruction Following with Thought Generation

投稿日: 2024年10月15日 作成者: jarxiv

要約

LLM は通常、人間の専門家が応答するのと同じようにユーザーの質問に答えたり、指示に従ったりするように訓練されています。
しかし、標準的な調整フレームワークでは、回答する前に明示的に考えるという基本的な能力が欠けています。
思考力は、推論と計画が必要な複雑な質問には重要ですが、どのようなタスクにも応用できます。
我々は、追加の人間データを使用せずに、既存のLLMに一般的な指導のためのそのような思考能力を身に付けるためのトレーニング方法を提案します。
これは、考えられる思考生成の空間を探索する反復的な検索と最適化手順によって実現され、モデルが直接の監視なしで思考方法を学習できるようになります。
指示ごとに、思考候補は判定モデルを使用してスコア付けされ、その応答のみが評価され、その後、好みの最適化によって最適化されます。
この手順が AlpacaEval と Arena-Hard で優れたパフォーマンスにつながることを示し、より伝統的な推論と問題解決のタスクに加えて、マーケティング、健康、一般知識などの非推論カテゴリについて考えることで利益が得られることを示します。

要約(オリジナル)

LLMs are typically trained to answer user questions or follow instructions similarly to how human experts respond. However, in the standard alignment framework they lack the basic ability of explicit thinking before answering. Thinking is important for complex questions that require reasoning and planning — but can be applied to any task. We propose a training method for equipping existing LLMs with such thinking abilities for general instruction following without use of additional human data. We achieve this by an iterative search and optimization procedure that explores the space of possible thought generations, allowing the model to learn how to think without direct supervision. For each instruction, the thought candidates are scored using a judge model to evaluate their responses only, and then optimized via preference optimization. We show that this procedure leads to superior performance on AlpacaEval and Arena-Hard, and shows gains from thinking on non-reasoning categories such as marketing, health and general knowledge, in addition to more traditional reasoning & problem-solving tasks.

arxiv情報

著者 Tianhao Wu,Janice Lan,Weizhe Yuan,Jiantao Jiao,Jason Weston,Sainbayar Sukhbaatar
発行日 2024-10-14 15:38:56+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.CL | Thinking LLMs: General Instruction Following with Thought Generation はコメントを受け付けていません

Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection

投稿日: 2024年10月15日 作成者: jarxiv

要約

さまざまなディストリビュータからの視覚的指示データセットはさまざまな時期にリリースされ、タスクの構成 (スキルなど) や参照ソースに応じて、意味的に冗長なテキストと画像のペアが多数含まれていることがよくあります。
この冗長性により、生涯適応可能なマルチモーダル大規模言語モデルの効率的な展開が大幅に制限され、既存のスキルを磨き、時間の経過とともに新しい能力を獲得する能力が妨げられます。
これに対処するために、データ選択を介して生涯命令チューニング (LiIT) の問題を再構成します。モデルは、モデル内で取得された知識の現在の状態に基づいて、以前のデータセットと新しいデータセットから学習する有益なサンプルを自動的に選択します。
静的重要度の尺度を使用して最適なデータ サブセットを選択することは、分布が進化するマルチタスク データセットに対しては効果的でないことが多いという経験的分析に基づいて、動的にデータを選択する新しい多方向で適応的なデータ選択アプローチである Adapt-$\infty$ を提案します。
LiIT 中のサンプルの効率と有効性のバランスを保ちます。
勾配ベースのサンプル ベクトルをグループ化することにより、疑似スキル クラスターを構築します。
次に、新しく提案されたスコアリング関数である Image Grounding スコアを含む、セレクター専門家のプールから各スキル クラスターに対して最もパフォーマンスの高いデータ セレクターを選択します。
このデータ セレクターは、トレーニング用に各スキル クラスターから最も重要なサンプルのサブセットをサンプリングします。
LiIT 中にデータセット プールのサイズが継続的に増加し、過剰な計算が発生することを防ぐために、クラスターごとの永続的なデータ プルーニング戦略をさらに導入し、意味的に最も冗長なサンプルを各クラスターから削除し、計算要件を管理しやすい状態に保ちます。
Adapt-$\infty$ によって選択されたサンプルを使用したトレーニングは、特にまれなタスクの場合に壊滅的な忘却を軽減し、元のデータセットの一部のみを使用して連続体全体での順方向転送を促進します。

要約(オリジナル)

Visual instruction datasets from various distributors are released at different times and often contain a significant number of semantically redundant text-image pairs, depending on their task compositions (i.e., skills) or reference sources. This redundancy greatly limits the efficient deployment of lifelong adaptable multimodal large language models, hindering their ability to refine existing skills and acquire new competencies over time. To address this, we reframe the problem of Lifelong Instruction Tuning (LiIT) via data selection, where the model automatically selects beneficial samples to learn from earlier and new datasets based on the current state of acquired knowledge in the model. Based on empirical analyses that show that selecting the best data subset using a static importance measure is often ineffective for multi-task datasets with evolving distributions, we propose Adapt-$\infty$, a new multi-way and adaptive data selection approach that dynamically balances sample efficiency and effectiveness during LiIT. We construct pseudo-skill clusters by grouping gradient-based sample vectors. Next, we select the best-performing data selector for each skill cluster from a pool of selector experts, including our newly proposed scoring function, Image Grounding score. This data selector samples a subset of the most important samples from each skill cluster for training. To prevent the continuous increase in the size of the dataset pool during LiIT, which would result in excessive computation, we further introduce a cluster-wise permanent data pruning strategy to remove the most semantically redundant samples from each cluster, keeping computational requirements manageable. Training with samples selected by Adapt-$\infty$ alleviates catastrophic forgetting, especially for rare tasks, and promotes forward transfer across the continuum using only a fraction of the original datasets.

arxiv情報

著者 Adyasha Maharana,Jaehong Yoon,Tianlong Chen,Mohit Bansal
発行日 2024-10-14 15:48:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG | Adapt-$\infty$: Scalable Lifelong Multimodal Instruction Tuning via Dynamic Data Selection はコメントを受け付けていません

Neural Networks with LSTM and GRU in Modeling Active Fires in the Amazon

投稿日: 2024年10月15日 作成者: jarxiv

要約

この研究は、ブラジルのアマゾンにある AQUA\_M-T 衛星によって検出された活動的な火災スポットの歴史的な時系列をモデル化し、予測するための包括的な方法論を示しています。
このアプローチでは、混合リカレント ニューラル ネットワーク (RNN) モデルを採用し、長期短期メモリ (LSTM) とゲート付きリカレント ユニット (GRU) アーキテクチャを組み合わせて、毎日検出されるアクティブな火災スポットの月ごとの累積を予測します。
データ分析により、長期にわたる一貫した季節性が明らかになり、年間最大値と最小値は毎年同じ時期に繰り返される傾向がありました。
主な目的は、機械学習技術を通じて、予測がこの固有の季節性を捉えているかどうかを検証することです。
この方法論には、慎重なデータの準備、モデルの構成、および 2 つのシードを使用した相互検証を使用したトレーニングが含まれており、データが両方のシードのテスト セットと検証セットの両方に適切に一般化されることが保証されます。
結果は、LSTM と GRU モデルを組み合わせた方が優れた予測パフォーマンスを提供し、複雑な時間的パターンを捕捉し、観測された時系列をモデル化する際の有効性を実証していることを示しています。
この研究は、環境モニタリング、特に活動中の火災地点の予測におけるディープラーニング技術の応用に大きく貢献します。
提案されたアプローチは、他の時系列予測の課題に適応できる可能性を強調し、機械学習と自然現象の予測における研究開発の新たな機会を開きます。
キーワード: 時系列予測。
リカレント ニューラル ネットワーク。
ディープラーニング。

要約(オリジナル)

This study presents a comprehensive methodology for modeling and forecasting the historical time series of active fire spots detected by the AQUA\_M-T satellite in the Amazon, Brazil. The approach employs a mixed Recurrent Neural Network (RNN) model, combining Long Short-Term Memory (LSTM) and Gated Recurrent Unit (GRU) architectures to predict the monthly accumulations of daily detected active fire spots. Data analysis revealed a consistent seasonality over time, with annual maximum and minimum values tending to repeat at the same periods each year. The primary objective is to verify whether the forecasts capture this inherent seasonality through machine learning techniques. The methodology involved careful data preparation, model configuration, and training using cross-validation with two seeds, ensuring that the data generalizes well to both the test and validation sets for both seeds. The results indicate that the combined LSTM and GRU model delivers excellent forecasting performance, demonstrating its effectiveness in capturing complex temporal patterns and modeling the observed time series. This research significantly contributes to the application of deep learning techniques in environmental monitoring, specifically in forecasting active fire spots. The proposed approach highlights the potential for adaptation to other time series forecasting challenges, opening new opportunities for research and development in machine learning and prediction of natural phenomena. Keywords: Time Series Forecasting; Recurrent Neural Networks; Deep Learning.

arxiv情報

著者 Ramon Tavares,Ricardo Olinda
発行日 2024-10-14 15:53:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.AI, cs.LG, stat.AP | Neural Networks with LSTM and GRU in Modeling Active Fires in the Amazon はコメントを受け付けていません