月別アーカイブ: 2024年6月

Blending LLMs into Cascaded Speech Translation: KIT’s Offline Speech Translation System for IWSLT 2024

要約 大規模言語モデル (LLM) は現在、自動音声認識 (ASR)、機械翻訳 … 続きを読む

カテゴリー: cs.AI, cs.CL | Blending LLMs into Cascaded Speech Translation: KIT’s Offline Speech Translation System for IWSLT 2024 はコメントを受け付けていません

Why Transformers Need Adam: A Hessian Perspective

要約 『トランスフォーマー』ではSGDのパフォーマンスがアダムより大幅に劣ってい … 続きを読む

カテゴリー: cs.AI, cs.LG | Why Transformers Need Adam: A Hessian Perspective はコメントを受け付けていません

M2Lingual: Enhancing Multilingual, Multi-Turn Instruction Alignment in Large Language Models

要約 命令微調整 (IFT) は、大規模言語モデル (LLM) を命令に従うよう … 続きを読む

カテゴリー: cs.AI, cs.CL, cs.LG | M2Lingual: Enhancing Multilingual, Multi-Turn Instruction Alignment in Large Language Models はコメントを受け付けていません

Adam-mini: Use Fewer Learning Rates To Gain More

要約 私たちは、Adam-mini を提案します。Adam-mini は、メモリ … 続きを読む

カテゴリー: cs.AI, cs.LG | Adam-mini: Use Fewer Learning Rates To Gain More はコメントを受け付けていません

Lottery Ticket Adaptation: Mitigating Destructive Interference in LLMs

要約 大規模言語モデル (LLM) を新しいタスクに適応させるための既存の方法は … 続きを読む

カテゴリー: cs.AI, cs.CL | Lottery Ticket Adaptation: Mitigating Destructive Interference in LLMs はコメントを受け付けていません

Low-Resource Multi-Granularity Academic Function Recognition Based on Multiple Prompt Knowledge

要約 SciBERT などの事前トレーニング済み言語モデル (PLM) を微調整 … 続きを読む

カテゴリー: cs.AI, cs.CL | Low-Resource Multi-Granularity Academic Function Recognition Based on Multiple Prompt Knowledge はコメントを受け付けていません

PISTOL: Dataset Compilation Pipeline for Structural Unlearning of LLMs

要約 最近、事前トレーニングまたは微調整されたモデルに保存されている特定のデータ … 続きを読む

カテゴリー: cs.AI, cs.CL, cs.LG | PISTOL: Dataset Compilation Pipeline for Structural Unlearning of LLMs はコメントを受け付けていません

General Binding Affinity Guidance for Diffusion Models in Structure-Based Drug Design

要約 Structure-Based Drug Design (SBDD) は、 … 続きを読む

カテゴリー: cs.AI, cs.LG, physics.bio-ph, physics.chem-ph, q-bio.BM | General Binding Affinity Guidance for Diffusion Models in Structure-Based Drug Design はコメントを受け付けていません

Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track

要約 新しい Bing 検索を試してみましたか? それともGoogle AI〜概 … 続きを読む

カテゴリー: cs.AI, cs.CL, cs.IR | Ragnarök: A Reusable RAG Framework and Baselines for TREC 2024 Retrieval-Augmented Generation Track はコメントを受け付けていません

Understanding and Mitigating Tokenization Bias in Language Models

要約 最先端の言語モデルは自己回帰的であり、トークンとして知られるサブワード単位 … 続きを読む

カテゴリー: cs.AI, cs.CL, cs.LG | Understanding and Mitigating Tokenization Bias in Language Models はコメントを受け付けていません