Phantom: General Trigger Attacks on Retrieval Augmented Language Generation

投稿日: 2024年10月16日 作成者: jarxiv

要約

検索拡張生成 (RAG) は、最も関連性の高い知識ソースへの応答を固定、適応、およびパーソナライズすることにより、最新の大規模言語モデル (LLM) の機能を拡張します。
これはチャットボット アプリケーションで特に役立ち、開発者は費用のかかる再トレーニングを行わずに LLM 出力をカスタマイズできます。
RAG システムはさまざまなアプリケーションで非常に有用であるにもかかわらず、新たなセキュリティ リスクをもたらします。
この研究では、攻撃者が 1 つの悪意のあるドキュメントを RAG システムのナレッジ ベースに挿入し、バックドア ポイズニング攻撃を仕掛けることを可能にする新しい攻撃ベクトルを提案します。
私たちは、RAG システムに対する一般的な 2 段階の最適化フレームワークである Phantom を設計します。これは、モデルの出力の整合性違反につながる悪意のある汚染されたドキュメントを作成します。
まず、文書は、トークンの特定のトリガー シーケンスが被害者のクエリに現れた場合にのみ取得されるように構築されています。
次に、文書は、回答の拒否、風評被害、プライバシー侵害、有害な行為など、LLM 出力にさまざまな敵対的な目的を誘発する、巧妙に作られた敵対的なテキストでさらに最適化されます。
Gemma、Vicuna、Llama を含む複数の LLM アーキテクチャに対する攻撃を実証し、それらが GPT-3.5 Turbo および GPT-4 に転送されることを示します。
最後に、NVIDIA のブラックボックス プロダクション RAG システム「Chat with RTX」に対するファントム攻撃を実行することに成功しました。

要約(オリジナル)

Retrieval Augmented Generation (RAG) expands the capabilities of modern large language models (LLMs), by anchoring, adapting, and personalizing their responses to the most relevant knowledge sources. It is particularly useful in chatbot applications, allowing developers to customize LLM output without expensive retraining. Despite their significant utility in various applications, RAG systems present new security risks. In this work, we propose new attack vectors that allow an adversary to inject a single malicious document into a RAG system’s knowledge base, and mount a backdoor poisoning attack. We design Phantom, a general two-stage optimization framework against RAG systems, that crafts a malicious poisoned document leading to an integrity violation in the model’s output. First, the document is constructed to be retrieved only when a specific trigger sequence of tokens appears in the victim’s queries. Second, the document is further optimized with crafted adversarial text that induces various adversarial objectives on the LLM output, including refusal to answer, reputation damage, privacy violations, and harmful behaviors. We demonstrate our attacks on multiple LLM architectures, including Gemma, Vicuna, and Llama, and show that they transfer to GPT-3.5 Turbo and GPT-4. Finally, we successfully conducted a Phantom attack on NVIDIA’s black-box production RAG system, ‘Chat with RTX’.

arxiv情報

著者 Harsh Chaudhari,Giorgio Severi,John Abascal,Matthew Jagielski,Christopher A. Choquette-Choo,Milad Nasr,Cristina Nita-Rotaru,Alina Oprea
発行日 2024-10-15 15:56:58+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CR, cs.LG | Phantom: General Trigger Attacks on Retrieval Augmented Language Generation はコメントを受け付けていません

Mitigate Position Bias in Large Language Models via Scaling a Single Dimension

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデル (LLM) は、その優れた一般化機能と堅牢な生成機能により、現実世界のさまざまなシナリオにますます適用されています。
ただし、「途中で失われる」とも呼ばれる位置バイアスが見られます。この現象は、長いコンテキストのシナリオで特に顕著であり、プロンプトのさまざまな位置に重要な情報が配置されると、精度に大きな影響を与える可能性があることを示しています。
この論文では、まず位置バイアスのミクロレベルの発現を調査し、注意の重みが位置バイアスのミクロレベルの表現であると結論付けています。
さらに、位置の埋め込みに加えて、因果的注意マスクも位置固有の隠れ状態を作成することによって位置のバイアスに寄与していることも特定されています。
これらの洞察に基づいて、この位置隠れ状態をスケーリングすることによって位置バイアスを軽減する方法を提案します。
RoPE モデル、コンテキスト ウィンドウ拡張モデル、Alibi モデルなどのさまざまなモデルを使用した、NaturalQuestions マルチドキュメント QA、KV 取得、LongBench、およびタイムライン並べ替えタスクの実験では、アプローチの有効性と一般化可能性が実証されています。
私たちの方法では、隠れ状態の 1 つの次元を変更するだけで、パフォーマンスを最大 15.2% 向上させることができます。
私たちのコードは https://aka.ms/PositionalHidden で入手できます。

要約(オリジナル)

Large Language Models (LLMs) are increasingly applied in various real-world scenarios due to their excellent generalization capabilities and robust generative abilities. However, they exhibit position bias, also known as ‘lost in the middle’, a phenomenon that is especially pronounced in long-context scenarios, which indicates the placement of the key information in different positions of a prompt can significantly affect accuracy. This paper first explores the micro-level manifestations of position bias, concluding that attention weights are a micro-level expression of position bias. It further identifies that, in addition to position embeddings, causal attention mask also contributes to position bias by creating position-specific hidden states. Based on these insights, we propose a method to mitigate position bias by scaling this positional hidden states. Experiments on the NaturalQuestions Multi-document QA, KV retrieval, LongBench and timeline reorder tasks, using various models including RoPE models, context windowextended models, and Alibi models, demonstrate the effectiveness and generalizability of our approach. Our method can improve performance by up to 15.2% by modifying just one dimension of hidden states. Our code is available at https://aka.ms/PositionalHidden.

arxiv情報

著者 Yijiong Yu,Huiqiang Jiang,Xufang Luo,Qianhui Wu,Chin-Yew Lin,Dongsheng Li,Yuqing Yang,Yongfeng Huang,Lili Qiu
発行日 2024-10-15 15:58:07+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Mitigate Position Bias in Large Language Models via Scaling a Single Dimension はコメントを受け付けていません

Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning

投稿日: 2024年10月16日 作成者: jarxiv

要約

最近、事前トレーニング済み言語モデル (PLM) を微調整すると、ナレッジ グラフ補完 (KGC) が向上する可能性が示されました。
ただし、ほとんどの PLM ベースの手法はテキスト情報のエンコードのみに焦点を当てており、ナレッジ グラフのロングテールの性質やそのさまざまな位相構造 (サブグラフ、最短パス、次数など) を無視しています。
これが KGC の PLM の高精度を達成する上での大きな障害になっていると私たちは主張します。
この目的を達成するために、我々は 2 つのアイデアを備えた KGC 用のサブグラフ認識トレーニング フレームワーク (SATKGC) を提案します。(i) ハード ネガティブ サンプリングを促進し、トレーニング中のエンティティの出現頻度の不均衡を緩和するためのサブグラフ認識ミニバッチ処理。
(ii) ナレッジ グラフの構造特性の観点から、バッチ内のより困難な負のトリプルとより困難な正のトリプルに重点を置く新しい対照的な学習。
私たちの知る限り、これはナレッジ グラフの構造的な誘導バイアスを PLM の微調整に包括的に組み込んだ最初の研究です。
3 つの KGC ベンチマークに関する広範な実験により、SATKGC の優位性が実証されました。
私たちのコードが利用可能です。

要約(オリジナル)

Fine-tuning pre-trained language models (PLMs) has recently shown a potential to improve knowledge graph completion (KGC). However, most PLM-based methods focus solely on encoding textual information, neglecting the long-tailed nature of knowledge graphs and their various topological structures, e.g., subgraphs, shortest paths, and degrees. We claim that this is a major obstacle to achieving higher accuracy of PLMs for KGC. To this end, we propose a Subgraph-Aware Training framework for KGC (SATKGC) with two ideas: (i) subgraph-aware mini-batching to encourage hard negative sampling and to mitigate an imbalance in the frequency of entity occurrences during training, and (ii) new contrastive learning to focus more on harder in-batch negative triples and harder positive triples in terms of the structural properties of the knowledge graph. To the best of our knowledge, this is the first study to comprehensively incorporate the structural inductive bias of the knowledge graph into fine-tuning PLMs. Extensive experiments on three KGC benchmarks demonstrate the superiority of SATKGC. Our code is available.

arxiv情報

著者 Youmin Ko,Hyemin Yang,Taeuk Kim,Hyunjoon Kim
発行日 2024-10-15 15:59:09+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Subgraph-Aware Training of Language Models for Knowledge Graph Completion Using Structure-Aware Contrastive Learning はコメントを受け付けていません

GOVERN: Gradient Orientation Vote Ensemble for Multi-Teacher Reinforced Distillation

投稿日: 2024年10月16日 作成者: jarxiv

要約

事前トレーニングされた言語モデルは質問応答システムの不可欠なコンポーネントとなり、顕著なパフォーマンスを実現しています。
ただし、実際の展開では、計算上の制約の下で動作しながら高いパフォーマンスを維持するために知識の蒸留を実行することが重要です。
この論文では、重要な質問に取り組みます。生徒モデルのパフォーマンスにとって教師なし蒸留の重要性を考えると、ラベルの指導なしに、この段階で複数の教師モデルからの知識を効果的にアンサンブルするにはどうすればよいでしょうか?
我々は、この問題に取り組むための新しいアルゴリズム GOVERN を提案します。
GOVERN は、オフラインとオンラインの両方の実験で大幅な改善を実証し、学生モデルが教師のアンサンブルと同等の結果を達成できるようにしました。
私たちの実験では、GOVERN が 99.5\% のパフォーマンスを達成するのに、アンサンブル手法の推論予算のわずか 1\% しか必要としないことが顕著であることがわかりました。
提案されたアルゴリズムは、現実世界の商用質問応答システムにうまく導入され、現実世界への適用可能性を実証しています。

要約(オリジナル)

Pre-trained language models have become an integral component of question-answering systems, achieving remarkable performance. However, for practical deployment, it is crucial to perform knowledge distillation to maintain high performance while operating under computational constraints. In this paper, we address a key question: given the importance of unsupervised distillation for student model performance, how can knowledge from multiple teacher models be effectively ensemble during this stage without the guidance of labels? We propose a novel algorithm, GOVERN, to tackle this issue. GOVERN has demonstrated significant improvements in both offline and online experiments, enabling the student model to achieve results comparable to that of teacher ensembles. Our experiments show that GOVERN remarkably requires a mere 1\% of the ensemble method’s inference budget to achieve 99.5\% of performance. The proposed algorithm has been successfully deployed in a real-world commercial question-answering system, demonstrating its real-world applicability.

arxiv情報

著者 Wenjie Zhou,Zhenxin Ding,Xiaodong Zhang,Haibo Shi,Junfeng Wang,Dawei Yin
発行日 2024-10-15 16:01:11+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.IR | GOVERN: Gradient Orientation Vote Ensemble for Multi-Teacher Reinforced Distillation はコメントを受け付けていません

THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

事実に誤りのあるコンテンツの生成である幻覚は、大規模言語モデル (LLM) におけるますます大きな課題となっています。
既存の検出および軽減方法は孤立していることが多く、ドメイン固有のニーズには不十分であり、標準化されたパイプラインが不足しています。
この文書では、このギャップに対処する統合フレームワークおよびライブラリである THaMES (幻覚緩和および評価ツール) を紹介します。
THaMES は、LLM の幻覚を評価および軽減するためのエンドツーエンドのソリューションを提供し、自動化されたテスト セットの生成、多面的なベンチマーク、および適応可能な軽減戦略を備えています。
あらゆるコーパスからのテスト セットの作成を自動化し、バッチ処理、加重サンプリング、反事実検証などの技術を通じて高いデータ品質、多様性、コスト効率を確保します。
THaMES は、テキスト生成やバイナリ分類を含むさまざまなタスクにわたって幻覚を検出して軽減するモデルの能力を評価し、インコンテキスト学習 (ICL)、検索拡張生成 (RAG)、パラメーター効率の良い微調整 (PEFT) などの最適な軽減戦略を適用します。
）。
学術論文、政治ニュース、ウィキペディアの知識ベースを使用した最先端の LLM の評価では、GPT-4o のような商用モデルは ICL よりも RAG の恩恵を受けているのに対し、Llama-3.1-8B のようなオープンウェイト モデルは明らかになりました。
インストラクトとミストラル・ニモは、ICL からさらに多くのことを得ることができます。
さらに、PEFT は両方の評価タスクにおいて Llama-3.1-8B-Instruct のパフォーマンスを大幅に向上させます。

要約(オリジナル)

Hallucination, the generation of factually incorrect content, is a growing challenge in Large Language Models (LLMs). Existing detection and mitigation methods are often isolated and insufficient for domain-specific needs, lacking a standardized pipeline. This paper introduces THaMES (Tool for Hallucination Mitigations and EvaluationS), an integrated framework and library addressing this gap. THaMES offers an end-to-end solution for evaluating and mitigating hallucinations in LLMs, featuring automated test set generation, multifaceted benchmarking, and adaptable mitigation strategies. It automates test set creation from any corpus, ensuring high data quality, diversity, and cost-efficiency through techniques like batch processing, weighted sampling, and counterfactual validation. THaMES assesses a model’s ability to detect and reduce hallucinations across various tasks, including text generation and binary classification, applying optimal mitigation strategies like In-Context Learning (ICL), Retrieval Augmented Generation (RAG), and Parameter-Efficient Fine-tuning (PEFT). Evaluations of state-of-the-art LLMs using a knowledge base of academic papers, political news, and Wikipedia reveal that commercial models like GPT-4o benefit more from RAG than ICL, while open-weight models like Llama-3.1-8B-Instruct and Mistral-Nemo gain more from ICL. Additionally, PEFT significantly enhances the performance of Llama-3.1-8B-Instruct in both evaluation tasks.

arxiv情報

著者 Mengfei Liang,Archish Arun,Zekun Wu,Cristian Munoz,Jonathan Lutch,Emre Kazim,Adriano Koshiyama,Philip Treleaven
発行日 2024-10-15 16:05:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models はコメントを受け付けていません

Personas with Attitudes: Controlling LLMs for Diverse Data Annotation

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデル (LLM) をパーソナライズすることで、データ アノテーション タスクの多様性と制御を強化するための新しいアプローチを紹介します。
私たちは 2 つの研究にわたって、多様なペルソナの説明を LLM プロンプトに挿入した場合の影響を調査し、ペルソナがアノテーションの多様性を高めるかどうか、また結果として得られるアノテーションに対する個々のペルソナの影響が一貫していて制御可能であるかどうかを調査します。
私たちの結果は、ペルソナを使用してプロンプトされた LLM は、ペルソナを使用せずにプロンプ​​トを作成した LLM よりも多様なアノテーションを生成すること、およびこれらの効果は制御可能かつ再現可能であることを示しており、このため、私たちのアプローチは、毒性検出などの主観的な NLP タスクにおけるデータ アノテーションを改善するための適切なツールとなっています。

要約(オリジナル)

We present a novel approach for enhancing diversity and control in data annotation tasks by personalizing large language models (LLMs). We investigate the impact of injecting diverse persona descriptions into LLM prompts across two studies, exploring whether personas increase annotation diversity and whether the impacts of individual personas on the resulting annotations are consistent and controllable. Our results show that persona-prompted LLMs produce more diverse annotations than LLMs prompted without personas and that these effects are both controllable and repeatable, making our approach a suitable tool for improving data annotation in subjective NLP tasks like toxicity detection.

arxiv情報

著者 Leon Fröhling,Gianluca Demartini,Dennis Assenmacher
発行日 2024-10-15 16:22:49+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.HC | Personas with Attitudes: Controlling LLMs for Diverse Data Annotation はコメントを受け付けていません

TAMS: Translation-Assisted Morphological Segmentation

投稿日: 2024年10月16日 作成者: jarxiv

要約

標準形態素セグメンテーションは、単語をその構成要素である形態素の標準 (基礎となる) 形式に分析するプロセスです。
これは言語ドキュメントの中核となるタスクであり、NLP システムはこのプロセスを劇的にスピードアップする可能性を秘めています。
しかし、一般的な言語ドキュメント設定では、正規形態素セグメンテーションのトレーニング データが不足しているため、高品質のモデルをトレーニングすることが困難です。
ただし、翻訳データははるかに豊富であることが多く、この研究では、正規セグメンテーション タスクでこのデータを活用しようとする方法を紹介します。
我々は、事前トレーニングされた高リソースの単言語言語モデルから得られた翻訳表現を追加信号として組み込む、文字レベルのシーケンスツーシーケンスモデルを提案します。
私たちのモデルは、超低リソース設定ではベースラインを上回りますが、より多くのデータを使用したトレーニング分割ではさまざまな結果が得られます。
よりリソースの多い環境で翻訳を有効にするにはさらなる作業が必要ですが、私たちのモデルはリソースが著しく制限された環境でも有望です。

要約(オリジナル)

Canonical morphological segmentation is the process of analyzing words into the standard (aka underlying) forms of their constituent morphemes. This is a core task in language documentation, and NLP systems have the potential to dramatically speed up this process. But in typical language documentation settings, training data for canonical morpheme segmentation is scarce, making it difficult to train high quality models. However, translation data is often much more abundant, and, in this work, we present a method that attempts to leverage this data in the canonical segmentation task. We propose a character-level sequence-to-sequence model that incorporates representations of translations obtained from pretrained high-resource monolingual language models as an additional signal. Our model outperforms the baseline in a super-low resource setting but yields mixed results on training splits with more data. While further work is needed to make translations useful in higher-resource settings, our model shows promise in severely resource-constrained settings.

arxiv情報

著者 Enora Rice,Ali Marashian,Luke Gessler,Alexis Palmer,Katharina von der Wense
発行日 2024-10-15 16:34:51+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | TAMS: Translation-Assisted Morphological Segmentation はコメントを受け付けていません

Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

パラメータ効率の良い微調整 (PEFT) 手法は、主にメモリと計算オーバーヘッドを大幅に削減できる可能性があるため、事前トレーニングされた大規模言語モデル (LLM) を下流タスクに適応させるために非常に人気が高まっています。
ただし、ほとんどの PEFT アプローチに共通する制限は、すべての層にわたって均一なアーキテクチャ設計を適用することです。
この均一性には同一のトレーニング可能なモジュールが含まれており、各層の重要性の変化が無視されているため、最適化されていない微調整結果が得られます。
上記の制限を克服し、より良いパフォーマンスを得るために、固有のスパース性を最大限に活用し、効果的なレイヤーごとの重要度スコアリングを使用して完全なレイヤーの最も重要なサブセットを選択する新しいアプローチである重要度を意識したスパース チューニング (IST) を開発しました。
提案された IST は、層ごとに動作するさまざまな PEFT 手法と互換性のある多用途のプラグアンドプレイ技術です。
IST は、推定された重要度スコアを活用することで、PEFT モジュール内のこれらの選択されたレイヤーを動的に更新し、メモリ需要の削減につながります。
さらに、統一的な更新戦略に対する IST の利点を実証するために、収束の理論的証明と優れたパフォーマンスの経験的証拠を提供します。
さまざまな LLM、PEFT、およびダウンストリーム タスクに関する広範な実験により、提案手法の有効性が実証され、既存のレイヤーベースの PEFT 手法を強化する IST の能力が実証されました。
私たちのコードは https://github.com/Kaiseem/IST で入手できます。

要約(オリジナル)

Parameter-Efficient Fine-Tuning (PEFT) methods have gained significant popularity for adapting pre-trained Large Language Models (LLMs) to downstream tasks, primarily due to their potential to significantly reduce memory and computational overheads. However, a common limitation in most PEFT approaches is their application of a uniform architectural design across all layers. This uniformity involves identical trainable modules and ignores the varying importance of each layer, leading to sub-optimal fine-tuning results. To overcome the above limitation and obtain better performance, we develop a novel approach, Importance-aware Sparse Tuning (IST), to fully utilize the inherent sparsity and select the most important subset of full layers with effective layer-wise importance scoring. The proposed IST is a versatile and plug-and-play technique compatible with various PEFT methods that operate on a per-layer basis. By leveraging the estimated importance scores, IST dynamically updates these selected layers in PEFT modules, leading to reduced memory demands. We further provide theoretical proof of convergence and empirical evidence of superior performance to demonstrate the advantages of IST over uniform updating strategies. Extensive experiments on a range of LLMs, PEFTs, and downstream tasks substantiate the effectiveness of our proposed method, showcasing IST’s capacity to enhance existing layer-based PEFT methods. Our code is available at https://github.com/Kaiseem/IST.

arxiv情報

著者 Kai Yao,Penlei Gao,Lichun Li,Yuan Zhao,Xiaofeng Wang,Wei Wang,Jianke Zhu
発行日 2024-10-15 16:53:26+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Layer-wise Importance Matters: Less Memory for Better Performance in Parameter-efficient Fine-tuning of Large Language Models はコメントを受け付けていません

Self-Data Distillation for Recovering Quality in Pruned Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模な言語モデルにより、自然言語処理は大幅に進歩しましたが、その展開には大量のコンピューティング リソースとメモリ リソースが必要です。
モデルがスケールするにつれて、モデルの品質と計算効率のバランスを取るために圧縮技術が不可欠になります。
モデルの重要度の低いコンポーネントを削除する構造化プルーニングは、複雑さを軽減するための有望な戦略です。
ただし、特に複数ステップの推論を必要とするタスクでは、ワンショットの枝刈りは大幅な品質の低下を引き起こすことがよくあります。
失われた品質を回復するには、教師あり微調整 (SFT) が一般的に適用されますが、モデルの学習データの分布が変化するため、壊滅的な忘却につながる可能性があります。
したがって、元のモデルの品質を維持するには、プルーニングと SFT の両方による劣化に対処することが不可欠です。
この研究では、これらの課題に対処するために、自己データを抽出した微調整を提案します。
私たちのアプローチでは、元の枝刈りされていないモデルを利用して、ベース モデルの知識との整合性を維持することで意味の豊かさを維持し、壊滅的な忘却を軽減する蒸留されたデータセットを生成します。
経験的に、自己データ蒸留は標準 SFT を常に上回り、HuggingFace OpenLLM Leaderboard v1 で平均精度が最大 8% 向上することが実証されています。
具体的には、Llama3.1-8B 命令で 6 つのデコーダ ブロックをプルーニングする場合 (つまり、32 層から 26 層にモデル サイズを 8.03B パラメータから 6.72B パラメータに削減)、私たちの方法では元のモデルの精度が 91.2% 維持されるのに対し、この方法では元のモデルの精度が 81.7% 維持されます。
SFT は、現実世界の FLOP を 16.30% 削減します。
さらに、私たちのアプローチはデータセット全体に効果的に拡張でき、データセットのサイズが大きくなるにつれて品質が向上します。

要約(オリジナル)

Large language models have driven significant progress in natural language processing, but their deployment requires substantial compute and memory resources. As models scale, compression techniques become essential for balancing model quality with computational efficiency. Structured pruning, which removes less critical components of the model, is a promising strategy for reducing complexity. However, one-shot pruning often results in significant quality degradation, particularly in tasks requiring multi-step reasoning. To recover lost quality, supervised fine-tuning (SFT) is commonly applied, but it can lead to catastrophic forgetting by shifting the model’s learned data distribution. Therefore, addressing the degradation from both pruning and SFT is essential to preserve the original model’s quality. In this work, we propose self-data distilled fine-tuning to address these challenges. Our approach leverages the original, unpruned model to generate a distilled dataset that preserves semantic richness and mitigates catastrophic forgetting by maintaining alignment with the base model’s knowledge. Empirically, we demonstrate that self-data distillation consistently outperforms standard SFT, improving average accuracy by up to 8% on the HuggingFace OpenLLM Leaderboard v1. Specifically, when pruning 6 decoder blocks on Llama3.1-8B Instruct (i.e., 32 to 26 layers, reducing the model size from 8.03B to 6.72B parameters), our method retains 91.2% of the original model’s accuracy compared to 81.7% with SFT, while reducing real-world FLOPs by 16.30%. Furthermore, our approach scales effectively across datasets, with the quality improving as the dataset size increases.

arxiv情報

著者 Vithursan Thangarasa,Ganesh Venkatesh,Nish Sinnadurai,Sean Lie
発行日 2024-10-15 16:57:41+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Self-Data Distillation for Recovering Quality in Pruned Large Language Models はコメントを受け付けていません

NesTools: A Dataset for Evaluating Nested Tool Learning Abilities of Large Language Models

投稿日: 2024年10月16日 作成者: jarxiv

要約

大規模言語モデル (LLM) とツール学習を組み合わせることで、現実世界のアプリケーションで目覚ましい結果が得られています。
ツールの学習中、LLM は複数のツールをネストされた順序で呼び出すことがあり、後者のツール呼び出しは前の応答を入力パラメーターとして受け取ることがあります。
ただし、既存のベンチマークには関連するデータ インスタンスが不足しているため、ネストされたツールの学習機能に関する現在の研究はまだ十分に調査されていません。
この問題に対処するために、包括的なネストされたツールの学習評価における現在のギャップを埋めるために NesTools を導入します。
NesTools は、さまざまなネスト構造を持つ大規模なネストされたツール呼び出しを構築するための新しい自動データ生成メソッドで構成されています。
手動によるレビューと改良により、データセットは高品質になり、現実世界のシナリオと緊密に一致します。
したがって、NesTools は、LLM のネストされたツールの学習能力を評価するための新しいベンチマークとして機能します。
私たちは 22 個の LLM で大規模な実験を実施し、NesTools を使用して詳細な分析を提供しました。これにより、現在の LLM はまだ複雑な入れ子になったツール学習タスクに悩まされていることがわかります。

要約(オリジナル)

Large language models (LLMs) combined with tool learning have gained impressive results in real-world applications. During tool learning, LLMs may call multiple tools in nested orders, where the latter tool call may take the former response as its input parameters. However, current research on the nested tool learning capabilities is still under-explored, since the existing benchmarks lack of relevant data instances. To address this problem, we introduce NesTools to bridge the current gap in comprehensive nested tool learning evaluations. NesTools comprises a novel automatic data generation method to construct large-scale nested tool calls with different nesting structures. With manual review and refinement, the dataset is in high quality and closely aligned with real-world scenarios. Therefore, NesTools can serve as a new benchmark to evaluate the nested tool learning abilities of LLMs. We conduct extensive experiments on 22 LLMs, and provide in-depth analyses with NesTools, which shows that current LLMs still suffer from the complex nested tool learning task.

arxiv情報

著者 Han Han,Tong Zhu,Xiang Zhang,Mengsong Wu,Hao Xiong,Wenliang Chen
発行日 2024-10-15 17:33:43+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | NesTools: A Dataset for Evaluating Nested Tool Learning Abilities of Large Language Models はコメントを受け付けていません