背景语音大模型（speech large language model, SpeechLLMs）亦有称之为语音对话模型（spoken dialogue models） 技术路径在大模型时代之前，一个人机语音对话系统涉及多个模块，包括：语音识别（ASR）、语言理解（NLU）、对话管理、语言生成、语音合成等。在大模型时代，根据是否由一个大模型直接理解和生成语音，分为级联和端到端两种技术路径：级联：语音

Scaling Law模型结构GPTLLaMADeepSeekChatGLM问题实效性低通过RAG等技术解决。 大模型幻觉生成式模型生成了与模型输入不相关或不准确的内容。缓解大模型幻觉的常用策略 提示学习提示（Prompt）是伴随着输入一起给模型的上下文。cloze prompt：填充答案的位置在句中。prefix prompt：填充答案的位置在句末。 提示技术In-Context Learnin

RAG技术概述RAG是一种结合了检索机制和大语言模型的技术。它通过从一个长文档或文档集合中检索相关信息，然后将这些信息融合到大模型的生成过程中，以提高模型的回答质量、准确性和实时性。 特点与优势实时性可扩展性提升特定领域任务的性能减轻大模型的幻觉问题。 技术方案检索优化过滤器筛选出有利于LM生成质量的内容，过滤掉不相关的检索信息。 MetaGPT的RAG功能应用基于RAG的企业知识库问答RAG v

超长上下文衡量超长上下文的核心维度 维度 关键问题 示例指标或方法 🧠 记忆能力 模型能否保留并使用早期输入信息？ Attention Score, Retrieval Accuracy 🔍 信息利用 模型是否正确引用了上下文中的关键信息？ Answer Correctness, Source Attribution 📏 上下文距离 模型能处理的最大“有效”token跨度是

大模型简介NLP任务的发展阶段：（1）基于规则+传统机器学习；（2）预训练语言模型+下游任务微调；（3）提示微调+指令微调；（4）多模态大模型+端到端智能体 自回归语言模型Scaling Law灾难性遗忘问题弹性权重巩固（EWC）通过引入正则化项，限制对旧任务重要权重的更新。实现方式：（1）计算Fisher信息矩阵，确定权重对就任务的重要性。（2）在新任务的训练中，添加一个正则化项，限制权重更新幅

位置编码NLP任务（翻译、阅读理解、文本摘要）高度依赖句子顺序，位置编码可以让模型捕获序列的位置信息，提升语言理解能力。 图像任务（目标检测、图像分割、） 绝对位置编码Transformer使用三角函数位置编码。BERT使用一个类似于单词嵌入的可训练的参数矩阵作为位置编码（Position Embedding），与Token Embedding和Segement Embedding相加作为输入。

MathJax = { tex: { inlineMath: [['$', '$'], ['\\(', '\\)']], displayMath: [['$$', '$$'], ['\\[', '\\]']] } }; 多模态大模型：技术演进与最新进展引言多模态学习（Multimodal Learning）是指AI系统同时处理和理解多种不同类

大模型安全问题

大模型推理基于Transformer解码器的大模型，推理阶段计算过程。 Transformer Decoder推理计算过程标准Transformer Decoder推理时间复杂度是O(N^2) 推理加速方法量化16bit、8bit量化，通常会损失一定的效果。 模型结构改进Muti-Query Attention每个Head有一个独立的Query，所有Head共享一组Key、Value。减少Key、

Cursor提示原则：用户提供一系列包含详细信息的文档，为AI设定明确的上下文边界。 六类核心文档： PRD（项目需求文档）让人工智能对您正在构建的内容有了深入的高层理解。 内容包括：【视频1】• 应用概述• 用户流程说明• 技术栈与API信息• 核心功能• 项目的边界（哪些在范围内，哪些不在） 应用流程文档相当于应用的导航地图。地图越清晰，AI的表现越稳定。 关键要点：【视频2】• 描述每一