MARK: Memory Augmented Refinement of Knowledge

要約

大規模な言語モデル（LLM）は、特殊なタスクを支援しますが、コストのかかる微調整なしで進化するドメインの知識と一致するのに苦労しています。
ドメインの知識は次のとおりです。知識：不変の事実（たとえば、「石は固体」）および一般的に受け入れられている原則（例：倫理基準）。
洗練されたメモリ：ビジネスニーズと現実世界の変化によって形作られた進化する洞察。
ただし、ドメインの専門家の深い微妙な理解とシステムのドメイン知識の間には、多くの場合、大きなギャップが存在し、正確な情報検索とアプリケーションを妨げる可能性があります。
私たちの記憶力のある知識の洗練（MARK）フレームワークにより、LLMは、心の社会に触発された構造化された洗練された記憶を活用することにより、再訓練なしに継続的に学習することができます。
マークは専門のエージェントを通じて動作し、それぞれが明確な役割を果たします。残留洗練されたメモリエージェント：ドメイン固有の洞察を保存および取得して、時間の経過とともにコンテキストを維持します。
ユーザー質問洗練されたメモリエージェント：ユーザーが提供する事実、略語、および用語をより良い理解のためにキャプチャします。
LLM応答洗練されたメモリエージェント：洗練とパーソナライズのための応答から重要な要素を抽出します。
これらのエージェントは、保存された洗練されたメモリを分析し、パターンを検出し、矛盾を解決し、応答の精度を向上させます。
Remencyや頻度などの時間的要因は、時代遅れの洞察を破棄しながら、関連情報を優先します。
マークは複数の方法でLLMを強化します。グラウンドトゥルース戦略：構造化された参照を確立することにより幻覚を減らします。
ドメイン固有の適応：公開データセットには独自の洞察が存在しないヘルスケア、法律、製造などの分野に不可欠。
パーソナライズされたAIアシスタント：ユーザーの好みを思い出し、時間の経過とともに一貫した応答を確保することにより、仮想アシスタントを改善します。

要約(オリジナル)

Large Language Models (LLMs) assist in specialized tasks but struggle to align with evolving domain knowledge without costly fine-tuning. Domain knowledge consists of: Knowledge: Immutable facts (e.g., ‘A stone is solid’) and generally accepted principles (e.g., ethical standards); Refined Memory: Evolving insights shaped by business needs and real-world changes. However, a significant gap often exists between a domain expert’s deep, nuanced understanding and the system’s domain knowledge, which can hinder accurate information retrieval and application. Our Memory-Augmented Refinement of Knowledge (MARK) framework enables LLMs to continuously learn without retraining by leveraging structured refined memory, inspired by the Society of Mind. MARK operates through specialized agents, each serving a distinct role: Residual Refined Memory Agent: Stores and retrieves domain-specific insights to maintain context over time; User Question Refined Memory Agent: Captures user-provided facts, abbreviations, and terminology for better comprehension; LLM Response Refined Memory Agent: Extracts key elements from responses for refinement and personalization. These agents analyse stored refined memory, detect patterns, resolve contradictions, and improve response accuracy. Temporal factors like recency and frequency prioritize relevant information while discarding outdated insights. MARK enhances LLMs in multiple ways: Ground Truth Strategy: Reduces hallucinations by establishing a structured reference; Domain-Specific Adaptation: Essential for fields like healthcare, law, and manufacturing, where proprietary insights are absent from public datasets; Personalized AI Assistants: Improves virtual assistants by remembering user preferences, ensuring coherent responses over time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google