Self-calibration for Language Model Quantization and Pruning

投稿日: 2024年10月23日 作成者: jarxiv

要約

量子化と枝刈りはモデル圧縮の基本的なアプローチであり、言語モデルの効率的な推論を可能にします。
トレーニング後の設定では、最先端の量子化および枝刈り手法では、ラベルのないサンプルの小さなセットであるキャリブレーション データが必要です。
従来は、モデルのトレーニング データを反映することを目的として、ランダムにサンプリングされた Web テキストが使用されていました。
ただし、これには 2 つの重要な問題が生じます。(1) 代表的ではないキャリブレーション例はモデルのパフォーマンスに悪影響を与える可能性がある、(2) 組織はモデル トレーニング データの公開を避ける傾向が強くなっています。
本稿では、その解決策としてセルフキャリブレーションを提案します。
私たちのアプローチでは外部データは必要なく、代わりにモデル自体を利用して、トレーニング前のデータ分布のより適切な近似として合成キャリブレーション データを生成します。
私たちは、さまざまなモデル、圧縮方法、タスクにわたって、セルフ キャリブレーションのパフォーマンスをいくつかのベースラインと広範囲に比較しています。
私たちのアプローチは、下流タスクのパフォーマンスを最大化する点で一貫して競争力があり、実際のデータを使用した場合でも優れたパフォーマンスを発揮することがよくあります。

要約(オリジナル)

Quantization and pruning are fundamental approaches for model compression, enabling efficient inference for language models. In a post-training setting, state-of-the-art quantization and pruning methods require calibration data, a small set of unlabeled examples. Conventionally, randomly sampled web text is used, aiming to reflect the model training data. However, this poses two key problems: (1) unrepresentative calibration examples can harm model performance, and (2) organizations increasingly avoid releasing model training data. In this paper, we propose self-calibration as a solution. Our approach requires no external data, instead leveraging the model itself to generate synthetic calibration data as a better approximation of the pre-training data distribution. We extensively compare the performance of self-calibration with several baselines, across a variety of models, compression methods, and tasks. Our approach proves consistently competitive in maximizing downstream task performance, frequently outperforming even using real data.

arxiv情報

著者 Miles Williams,George Chrysostomou,Nikolaos Aletras
発行日 2024-10-22 16:50:00+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Self-calibration for Language Model Quantization and Pruning はコメントを受け付けていません

From Attention to Activation: Unravelling the Enigmas of Large Language Models

投稿日: 2024年10月23日 作成者: jarxiv

要約

私たちは、自己回帰トランスフォーマーにおける 2 つの奇妙な現象を研究します。(1) アテンションヘッドにおける最初のトークンの優位性。
(2) 隠れ状態での大きな外れ値の活性化の発生。
Llama などの人気のある大規模言語モデルは、注目の 98% の最初のトークンに最大限に注意を向けていることがわかりました。これはソフトマックス関数による動作であると考えられます。
この問題を軽減するために、ソフトマックスをソフトマックス-1 に再定式化することを提案します。
さらに、適応オプティマイザーを特定します。
Adam は、大きな外れ値のアクティベーションの主な貢献者として、この問題に対処するために、直交行列を利用して勾配を変換する新しいオプティマイザーである OrthoAdam を紹介します。
最後に、私たちの方法はこれらの現象の発生を防ぐだけでなく、基本的なアルゴリズムを使用して量子化されたときにトランスフォーマーのパフォーマンスを維持できるようにします。これは標準的な方法では不可能です。
要約すると、私たちの方法は、最初のトークンの注意の割合を 65% から 3.3% に、隠れ状態の活性化尖度を 1657 から 3.1 に、4 ビット重み量子化でのパープレキシティ ペナルティを 3565 から 0.3 に減少させます。

要約(オリジナル)

We study two strange phenomena in auto-regressive Transformers: (1) the dominance of the first token in attention heads; (2) the occurrence of large outlier activations in the hidden states. We find that popular large language models, such as Llama attend maximally to the first token in 98% of attention heads, a behaviour we attribute to the softmax function. To mitigate this issue, we propose a reformulation of softmax to softmax-1. Furthermore, we identify adaptive optimisers, e.g. Adam, as the primary contributor to the large outlier activations and introduce OrthoAdam, a novel optimiser that utilises orthogonal matrices to transform gradients, to address this issue. Finally, not only do our methods prevent these phenomena from occurring, but additionally, they enable Transformers to sustain their performance when quantised using basic algorithms, something that standard methods are unable to do. In summary, our methods reduce the attention proportion on the first token from 65% to 3.3%, the activation kurtosis in the hidden states from 1657 to 3.1, and perplexity penalty under 4-bit weight quantisation from 3565 to 0.3.

arxiv情報

著者 Prannay Kaul,Chengcheng Ma,Ismail Elezi,Jiankang Deng
発行日 2024-10-22 16:51:27+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | From Attention to Activation: Unravelling the Enigmas of Large Language Models はコメントを受け付けていません

Levels of AI Agents: from Rules to Large Language Models

投稿日: 2024年10月23日 作成者: jarxiv

要約

AI エージェントは、環境を認識し、意思決定を行い、行動を起こす人工エンティティとして定義されます。
自動車技術者協会による自動運転の 6 つのレベルに触発され、AI エージェントは、実用性と強度に基づいて次のレベルに分類されます。L0、AI なし、認識とアクションを考慮したツールを備えています。
L1、ルールベースの AI を使用。
L2、ルールベースの AI を IL/RL ベースの AI に置き換え、推論と意思決定を追加します。
L3、IL/RL ベースの AI の代わりに LLM ベースの AI を適用し、さらにメモリとリフレクションをセットアップします。
L4 は L3 に基づいており、自律的な学習と一般化を促進します。
L5は、L4をベースに、感情や性格の個性やマルチエージェントとの協調行動を追加したもの。

要約(オリジナル)

AI agents are defined as artificial entities to perceive the environment, make decisions and take actions. Inspired by the 6 levels of autonomous driving by Society of Automotive Engineers, the AI agents are also categorized based on utilities and strongness, as the following levels: L0, no AI, with tools taking into account perception plus actions; L1, using rule-based AI; L2, making rule-based AI replaced by IL/RL-based AI, with additional reasoning & decision making; L3, applying LLM-based AI instead of IL/RL-based AI, additionally setting up memory & reflection; L4, based on L3, facilitating autonomous learning & generalization; L5, based on L4, appending personality of emotion and character and collaborative behavior with multi-agents.

arxiv情報

著者 Yu Huang
発行日 2024-10-22 17:05:17+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Levels of AI Agents: from Rules to Large Language Models はコメントを受け付けていません

Can Large Language Models Identify Authorship?

投稿日: 2024年10月23日 作成者: jarxiv

要約

著者を正確に特定する機能は、コンテンツの信頼性を検証し、誤った情報を軽減するために重要です。
大規模言語モデル (LLM) は、推論と問題解決において優れた能力を実証しています。
ただし、著者情報分析におけるその可能性はまだ十分に研究されていません。
従来の研究は手作りの文体特徴に依存していましたが、最先端のアプローチでは事前トレーニングされた言語モデルからのテキスト埋め込みが活用されています。
これらの方法は通常、ラベル付きデータの微調整が必​​要ですが、クロスドメイン アプリケーションではパフォーマンスが低下することが多く、説明可能性が限られています。
この研究では、次の 3 つの研究課題に対処することを目指しています。 (1) LLM は、ゼロショットのエンドツーエンドの著者証明を効果的に実行できますか?
(2) LLM は、複数の著者候補 (例: 10 名と 20 名) の間で著者名を正確に帰属させることができますか?
(3) LLM は、特に言語的特徴の役割を通じて、著者分析において説明可能性を提供できますか?
さらに、LLM の推論プロセスをガイドするための明示的な言語特徴の統合を調査します。
私たちの評価は、ドメイン固有の微調整を必要とせずに両方のタスクにおける LLM の習熟度を実証し、言語的特徴の詳細な分析を通じて意思決定の説明を提供します。
これにより、LLM ベースの著者情報分析に関する将来の研究のための新しいベンチマークが確立されます。

要約(オリジナル)

The ability to accurately identify authorship is crucial for verifying content authenticity and mitigating misinformation. Large Language Models (LLMs) have demonstrated an exceptional capacity for reasoning and problem-solving. However, their potential in authorship analysis remains under-explored. Traditional studies have depended on hand-crafted stylistic features, whereas state-of-the-art approaches leverage text embeddings from pre-trained language models. These methods, which typically require fine-tuning on labeled data, often suffer from performance degradation in cross-domain applications and provide limited explainability. This work seeks to address three research questions: (1) Can LLMs perform zero-shot, end-to-end authorship verification effectively? (2) Are LLMs capable of accurately attributing authorship among multiple candidates authors (e.g., 10 and 20)? (3) Can LLMs provide explainability in authorship analysis, particularly through the role of linguistic features? Moreover, we investigate the integration of explicit linguistic features to guide LLMs in their reasoning processes. Our assessment demonstrates LLMs’ proficiency in both tasks without the need for domain-specific fine-tuning, providing explanations into their decision making via a detailed analysis of linguistic features. This establishes a new benchmark for future research on LLM-based authorship analysis.

arxiv情報

著者 Baixiang Huang,Canyu Chen,Kai Shu
発行日 2024-10-22 17:07:14+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Can Large Language Models Identify Authorship? はコメントを受け付けていません

Audio-to-Score Conversion Model Based on Whisper methodology

投稿日: 2024年10月23日 作成者: jarxiv

要約

この論文では、音楽オーディオからメロディーとコードを抽出し、ABC 記譜法に記録する Whisper に基づいた Transformer モデルを開発します。
データ クレンジング、フォーマット、変換を含む包括的なデータ処理ワークフローが ABC 表記用にカスタマイズされており、トレーニング データの多様性と品質を高めるために突然変異メカニズムが実装されています。
この論文は、音楽情報をトークンに変換し、カスタム語彙ライブラリを設計し、対応するカスタム トークナイザーをトレーニングするカスタム記譜システムである「Orpheus’ Score」を革新的に導入します。
実験の結果、従来のアルゴリズムと比較して、このモデルの精度とパフォーマンスが大幅に向上していることがわかりました。
この作品は、音楽愛好家に便利なオーディオからスコアへのツールを提供すると同時に、音楽情報処理の研究のための新しいアイデアとツールも提供します。

要約(オリジナル)

This thesis develops a Transformer model based on Whisper, which extracts melodies and chords from music audio and records them into ABC notation. A comprehensive data processing workflow is customized for ABC notation, including data cleansing, formatting, and conversion, and a mutation mechanism is implemented to increase the diversity and quality of training data. This thesis innovatively introduces the ‘Orpheus’ Score’, a custom notation system that converts music information into tokens, designs a custom vocabulary library, and trains a corresponding custom tokenizer. Experiments show that compared to traditional algorithms, the model has significantly improved accuracy and performance. While providing a convenient audio-to-score tool for music enthusiasts, this work also provides new ideas and tools for research in music information processing.

arxiv情報

著者 Hongyao Zhang,Bohang Sun
発行日 2024-10-22 17:31:37+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG, cs.SD, eess.AS | Audio-to-Score Conversion Model Based on Whisper methodology はコメントを受け付けていません

Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance

投稿日: 2024年10月23日 作成者: jarxiv

要約

大規模な言語モデルを使用する場合の標準的な方法は、ユーザーがモデルが処理する新しい情報を含む入力コンテキストで命令を補足することです。
ただし、モデルは、特に事前トレーニングからのパラメトリック知識と矛盾する場合、入力コンテキストを確実に追跡するのに苦労します。
原則として、特に知識の競合を処理する場合、命令を微調整した後、モデルがユーザーのコンテキストによりよく適応することが期待されます。
ただし、驚くべき失敗モードが観察されます。命令の調整中、知識の競合の下でのコンテキスト依存度は、最初は予想どおり増加しますが、その後、命令の微調整が進むにつれて徐々に減少します。
これは、標準ベンチマークのパフォーマンスがこの低下後も大幅に増加し続けている間に発生します。
私たちはこの現象をコンテキストパラメトリック反転と呼び、TULU、Alpaca、Ultrachat などの複数の汎用命令チューニング データセットや、Llama、Mistral、Pythia などのさまざまなモデル ファミリにわたって観察しています。
さまざまな管理された研究と理論分析を実行して、入力コンテキストがモデルのパラメトリック知識と一致する情報を提供する命令微調整データ内の例により、コンテキストとパラメトリックの反転が発生することを示します。
私たちの分析は、限定的ではあるものの洞察力に富んだ利益をもたらすいくつかの自然な緩和戦略を示唆しており、命令の微調整におけるこの欠陥に対処するための有用な出発点として役立ちます。

要約(オリジナル)

A standard practice when using large language models is for users to supplement their instruction with an input context containing new information for the model to process. However, models struggle to reliably follow the input context, especially when it conflicts with their parametric knowledge from pretraining. In-principle, one would expect models to adapt to the user context better after instruction finetuning, particularly when handling knowledge conflicts. However, we observe a surprising failure mode: during instruction tuning, the context reliance under knowledge conflicts initially increases as expected, but then gradually decreases as instruction finetuning progresses. This happens while the performance on standard benchmarks keeps on increasing far after this drop. We call this phenomenon context-parametric inversion and observe it across multiple general purpose instruction tuning datasets such as TULU, Alpaca and Ultrachat, across different model families like Llama, Mistral, and Pythia. We perform various controlled studies and theoretical analysis to show that context-parametric inversion occurs due to examples in the instruction finetuning data where the input context provides information that aligns with model’s parametric knowledge. Our analysis suggests some natural mitigation strategies with limited but insightful gains, and serves as a useful starting point in addressing this deficiency in instruction finetuning.

arxiv情報

著者 Sachin Goyal,Christina Baek,J. Zico Kolter,Aditi Raghunathan
発行日 2024-10-22 17:35:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance はコメントを受け付けていません

MiniPLM: Knowledge Distillation for Pre-Training Language Models

投稿日: 2024年10月23日 作成者: jarxiv

要約

知識蒸留 (KD) は、大規模な教師 LM を使用して、小規模でパフォーマンスの高い学生言語モデル (LM) をトレーニングするために広く使用されています。
事前トレーニング中の KD は微調整には効果的ですが、効率、柔軟性、有効性の点で課題に直面しています。
既存の方法では、オンラインの教師による推論により高い計算コストが発生するか、教師と生徒の LM 間のトークン化マッチングが必要になるか、教師が生成したトレーニング データの難易度や多様性が失われるリスクがあります。
これらの問題に対処するために、教師の知識を使用してトレーニング データの分布を調整することにより、LM を事前トレーニングするための KD フレームワークである MiniPLM を提案します。
効率性を高めるために、MiniPLM はオフラインの教師 LM 推論を実行し、トレーニング時間のコストを追加することなく複数の生徒 LM の KD を可能にします。
柔軟性を高めるために、MiniPLM はトレーニング コーパス上でのみ動作し、モデル ファミリ全体で KD を可能にします。
効率性を高めるために、MiniPLM は大規模な LM と小規模な LM の違いを活用してトレーニング データの難易度と多様性を強化し、学生 LM が多用途で洗練された知識を習得できるようにします。
広範な実験により、MiniPLM が広く使用されている 9 つの下流タスクにおける学生 LM のパフォーマンスを向上させ、言語モデリング機能を向上させ、事前トレーニングの計算を削減することが実証されました。
MiniPLM の利点は、スケーリング曲線の外挿によって明らかなように、大規模な事前トレーニング スケールにまで及びます。
さらなる分析により、MiniPLM がモデル ファミリ全体で KD をサポートし、事前トレーニング データの利用を強化していることが明らかになりました。
私たちのモデル、コード、データは https://github.com/thu-coai/MiniPLM で入手できます。

要約(オリジナル)

Knowledge distillation (KD) is widely used to train small, high-performing student language models (LMs) using large teacher LMs. While effective in fine-tuning, KD during pre-training faces challenges in efficiency, flexibility, and effectiveness. Existing methods either incur high computational costs due to online teacher inference, require tokenization matching between teacher and student LMs, or risk losing the difficulty and diversity of the teacher-generated training data. To address these issues, we propose MiniPLM, a KD framework for pre-training LMs by refining the training data distribution with the teacher’s knowledge. For efficiency, MiniPLM performs offline teacher LM inference, allowing KD for multiple student LMs without adding training-time costs. For flexibility, MiniPLM operates solely on the training corpus, enabling KD across model families. For effectiveness, MiniPLM leverages the differences between large and small LMs to enhance the difficulty and diversity of the training data, helping student LMs acquire versatile and sophisticated knowledge. Extensive experiments demonstrate that MiniPLM boosts the student LMs’ performance on 9 widely used downstream tasks, improves the language modeling capabilities, and reduces pre-training computation. The benefit of MiniPLM extends to large pre-training scales, evidenced by the extrapolation of the scaling curves. Further analysis reveals that MiniPLM supports KD across model families and enhances the utilization of pre-training data. Our model, code, and data are available at https://github.com/thu-coai/MiniPLM.

arxiv情報

著者 Yuxian Gu,Hao Zhou,Fandong Meng,Jie Zhou,Minlie Huang
発行日 2024-10-22 17:40:32+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | MiniPLM: Knowledge Distillation for Pre-Training Language Models はコメントを受け付けていません

Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods

投稿日: 2024年10月23日 作成者: jarxiv

要約

大規模言語モデル (LLM) を微調整するには、通常、少なくとも数十億のパラメーターを更新する必要があります。
よりパラメーター効率の高いアプローチは、少数の学習可能なトークンのみを更新するプロンプト チューニング (PT) です。これとは異なり、インコンテキスト学習 (ICL) は、トレーニングを行わずに入力にサンプルを含めるだけでモデルを新しいタスクに適応させます。
ファインチューニングや少数ショット学習用の PT などの最適化ベースの手法を適用する場合、モデルはトレーニング例の小さなセットに特に適応されますが、ICL ではモデルは変更されません。
この違いにより、従来の学習方法は過学習になりやすくなります。
対照的に、ICL は数ショットのシナリオに対してあまり敏感ではありません。
ICL は過剰適合する傾向はありませんが、トレーニング サンプルに存在する情報を完全には抽出しません。
この作業では、ICL、PT、および敵対的攻撃からインスピレーションを得た手法である、コンテキスト認識型プロンプト チューニング (CPT) が導入されています。
私たちは、入力前にサンプルを連結するという ICL 戦略に基づいて構築していますが、これを PT のような学習によって拡張し、反復的な最適化を通じてコン​​テキストの埋め込みを洗練して、トレーニング サンプルからより深い洞察を抽出します。
入力形式と出力形式の固有の構造を考慮して、特定のコンテキスト トークンを慎重に変更します。
敵対的攻撃にインスピレーションを得て、コンテキスト内に存在するラベルに基づいて入力を調整し、損失を最大化するのではなく最小化することに重点を置きます。
さらに、ユーザーが提供するデータは本質的に価値があるという前提で、投影勾配降下法アルゴリズムを適用して、トークンの埋め込みを元の値に近づけます。
私たちの方法は、さまざまな LLM モデルを使用した複数の分類タスクにわたって優れた精度を達成することが示されています。

要約(オリジナル)

Fine-tuning Large Language Models (LLMs) typically involves updating at least a few billions of parameters. A more parameter-efficient approach is Prompt Tuning (PT), which updates only a few learnable tokens, and differently, In-Context Learning (ICL) adapts the model to a new task by simply including examples in the input without any training. When applying optimization-based methods, such as fine-tuning and PT for few-shot learning, the model is specifically adapted to the small set of training examples, whereas ICL leaves the model unchanged. This distinction makes traditional learning methods more prone to overfitting; in contrast, ICL is less sensitive to the few-shot scenario. While ICL is not prone to overfitting, it does not fully extract the information that exists in the training examples. This work introduces Context-aware Prompt Tuning (CPT), a method inspired by ICL, PT, and adversarial attacks. We build on the ICL strategy of concatenating examples before the input, but we extend this by PT-like learning, refining the context embedding through iterative optimization to extract deeper insights from the training examples. We carefully modify specific context tokens, considering the unique structure of input and output formats. Inspired by adversarial attacks, we adjust the input based on the labels present in the context, focusing on minimizing, rather than maximizing, the loss. Moreover, we apply a projected gradient descent algorithm to keep token embeddings close to their original values, under the assumption that the user-provided data is inherently valuable. Our method has been shown to achieve superior accuracy across multiple classification tasks using various LLM models.

arxiv情報

著者 Tsachi Blau,Moshe Kimhi,Yonatan Belinkov,Alexander Bronstein,Chaim Baskin
発行日 2024-10-22 17:45:47+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL | Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods はコメントを受け付けていません

Dhoroni: Exploring Bengali Climate Change and Environmental Views with a Multi-Perspective News Dataset and Natural Language Processing

投稿日: 2024年10月23日 作成者: jarxiv

要約

気候変動は世界的に重大な課題を引き起こしており、国際舞台で資源や言語表現が不足していることが多い低所得国に過度の影響を与えています。
バングラデシュは気候の影響に対して最も脆弱な国の一つであるにもかかわらず、気候変動とNLPに関連するベンガル語研究には依然として研究ギャップが残っている。
この不均衡に対処するために、ベンガル語 (バングラ) の気候変動と環境に関する新しいニュース データセットである Dhoroni を紹介します。これは、2,300 件の注釈付きバングラ ニュース記事で構成され、政治的影響力、科学的/統計的データ、信憑性、立場の検出、利害関係者などの複数の視点を提供します。
関与。
さらに、Dhoroni の詳細な探索的分析を提示し、データセットに基づいて微調整された、バングラにおける気候と環境に関する意見検出のための新しいベースライン モデル ファミリである BanglaBERT-Dhoroni ファミリーを紹介します。
この研究は、ベンガル語（バングラ）語での気候に関する議論のアクセシビリティと分析の強化に大きく貢献し、人口1億8,000万人のバングラデシュのような気候変動の影響を受ける地域における重大なコミュニケーションと研究のギャップに対処します。

要約(オリジナル)

Climate change poses critical challenges globally, disproportionately affecting low-income countries that often lack resources and linguistic representation on the international stage. Despite Bangladesh’s status as one of the most vulnerable nations to climate impacts, research gaps persist in Bengali-language studies related to climate change and NLP. To address this disparity, we introduce Dhoroni, a novel Bengali (Bangla) climate change and environmental news dataset, comprising a 2300 annotated Bangla news articles, offering multiple perspectives such as political influence, scientific/statistical data, authenticity, stance detection, and stakeholder involvement. Furthermore, we present an in-depth exploratory analysis of Dhoroni and introduce BanglaBERT-Dhoroni family, a novel baseline model family for climate and environmental opinion detection in Bangla, fine-tuned on our dataset. This research contributes significantly to enhancing accessibility and analysis of climate discourse in Bengali (Bangla), addressing crucial communication and research gaps in climate-impacted regions like Bangladesh with 180 million people.

arxiv情報

著者 Azmine Toushik Wasi,Wahid Faisal,Taj Ahmad,Abdur Rahman,Mst Rafia Islam
発行日 2024-10-22 17:47:05+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.CY, cs.LG, stat.AP | Dhoroni: Exploring Bengali Climate Change and Environmental Views with a Multi-Perspective News Dataset and Natural Language Processing はコメントを受け付けていません

Fine-Tuning Large Language Models to Appropriately Abstain with Semantic Entropy

投稿日: 2024年10月23日 作成者: jarxiv

要約

大規模言語モデル (LLM) は幻覚を起こすことが知られており、それにより、もっともらしいが不正確なテキストが生成されます。
この現象は、医療や法律などの重要な用途に重大なリスクをもたらすため、強力な幻覚軽減戦略が必要です。
最近の研究では、LLM に自分の知識や能力を超えた質問に答えるのを避けるよう教えるための微調整方法が提案されていますが、これらの方法はグラウンドトゥルースのラベルの存在に依存しているか、短い形式の応答に限定されています。
これらの制限に対処するために、外部ラベルを必要としないモデルへの内省から導出される不確実性尺度であるセマンティック エントロピーを使用した微調整を提案します。
私たちのアプローチは、以前の研究を使用して微調整されたモデルと同等またはそれを上回り、さまざまなデータセット上で短い形式と長い形式の世代の両方で強力なパフォーマンスを達成することを実証します。

要約(オリジナル)

Large Language Models (LLMs) are known to hallucinate, whereby they generate plausible but inaccurate text. This phenomenon poses significant risks in critical applications, such as medicine or law, necessitating robust hallucination mitigation strategies. While recent works have proposed fine-tuning methods to teach LLMs to abstain from answering questions beyond their knowledge or capabilities, these methods rely on the existence of ground-truth labels or are limited to short-form responses. To address these limitations, we propose fine-tuning using semantic entropy, an uncertainty measure derived from introspection into the model which does not require external labels. We demonstrate that our approach matches or outperforms models fine-tuned using prior work and achieves strong performance for both short and long-form generations on a range of datasets.

arxiv情報

著者 Benedict Aaron Tjandra,Muhammed Razzak,Jannik Kossen,Kunal Handa,Yarin Gal
発行日 2024-10-22 17:54:03+00:00
arxivサイト arxiv_id(pdf)

提供元, 利用サービス

arxiv.jp, Google

カテゴリー: cs.CL, cs.LG | Fine-Tuning Large Language Models to Appropriately Abstain with Semantic Entropy はコメントを受け付けていません