月別アーカイブ: 2023年5月

Are Pre-trained Language Models Useful for Model Ensemble in Chinese Grammatical Error Correction?

投稿日: 2023年5月25日 作成者: jarxiv

要約 モデル アンサンブルは、文法的誤り訂正 (GEC) のために広く使用されて … 続きを読む →

カテゴリー: cs.CL | Are Pre-trained Language Models Useful for Model Ensemble in Chinese Grammatical Error Correction? はコメントを受け付けていません

Decoder Tuning: Efficient Language Understanding as Decoding

投稿日: 2023年5月25日 作成者: jarxiv

要約 事前トレーニング済みモデル (PTM) のサイズがますます大きくなっている … 続きを読む →

カテゴリー: cs.CL, cs.LG | Decoder Tuning: Efficient Language Understanding as Decoding はコメントを受け付けていません

Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning

投稿日: 2023年5月25日 作成者: jarxiv

要約 パラメータ全体を使用して、さまざまな下流タスクで大規模な事前トレーニング済 … 続きを読む →

カテゴリー: cs.CL | Towards Adaptive Prefix Tuning for Parameter-Efficient Language Model Fine-tuning はコメントを受け付けていません

Technical report: Graph Neural Networks go Grammatical

投稿日: 2023年5月25日 作成者: jarxiv

要約 この論文では、代数言語の一部をグラフ ニューラル ネットワーク (GNN) … 続きを読む →

カテゴリー: cs.CL, cs.LG | Technical report: Graph Neural Networks go Grammatical はコメントを受け付けていません

SAIL: Search-Augmented Instruction Learning

投稿日: 2023年5月25日 作成者: jarxiv

要約 大規模言語モデル (LLM) は命令の微調整によって大幅に改善されましたが … 続きを読む →

カテゴリー: cs.CL | SAIL: Search-Augmented Instruction Learning はコメントを受け付けていません

LMs with a Voice: Spoken Language Modeling beyond Speech Tokens

投稿日: 2023年5月25日 作成者: jarxiv

要約 我々は、事前に訓練された言語モデル (LM) を適応させて音声継続を実行す … 続きを読む →

カテゴリー: cs.CL, cs.LG, cs.SD, eess.AS | LMs with a Voice: Spoken Language Modeling beyond Speech Tokens はコメントを受け付けていません

Revisiting Parallel Context Windows: A Frustratingly Simple Alternative and Chain-of-Thought Deterioration

投稿日: 2023年5月25日 作成者: jarxiv

要約 我々は、最近の並列統合手法であるパラレル コンテキスト ウィンドウ (PC … 続きを読む →

カテゴリー: cs.CL | Revisiting Parallel Context Windows: A Frustratingly Simple Alternative and Chain-of-Thought Deterioration はコメントを受け付けていません

Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model

投稿日: 2023年5月25日 作成者: jarxiv

要約 モデルのサイズが急速に増大するにつれて、メモリ使用量が膨大になるため、大規 … 続きを読む →

カテゴリー: cs.CL, cs.LG | Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model はコメントを受け付けていません

Revisiting Token Dropping Strategy in Efficient BERT Pretraining

投稿日: 2023年5月25日 作成者: jarxiv

要約 トークン ドロップは、いくつかの中間層で入力トークンのサブセットの計算をス … 続きを読む →

カテゴリー: cs.CL | Revisiting Token Dropping Strategy in Efficient BERT Pretraining はコメントを受け付けていません

Self-Evolution Learning for Discriminative Language Model Pretraining

投稿日: 2023年5月25日 作成者: jarxiv

要約 マスクされた言語モデリングは、識別言語モデル (BERT など) の事前ト … 続きを読む →

カテゴリー: cs.CL | Self-Evolution Learning for Discriminative Language Model Pretraining はコメントを受け付けていません