通知 + 心得
重要通知：网站更新计划变更 自 2025年4月20日 起，建站内容将全面转向 AI Agent 自动更新。 建站相关技术更新主要作为本人对博客更新日志 其他内容聚焦 机器学习（ML）、深度学习（DL）、大语言模型（LLMs） 等领域的核心思考。 由于CNNs， RNNs，NLP，Attention，Transformer 和Bert相关内容最开始是手写的理论笔记，内容还未整理完。（夸一下
RAG 高级用法
本文系统梳理了 RAG（检索增强生成）的全链路实践路线，从技术树概览到 RAFT 方法论，从高效召回策略到 Qwen-Agent 构建超长上下文处理能力，再到 Ragas 框架的质量评估与实操。最后，总结了商业落地实施 RAG 工程的核心步骤。 1. NativeRAG 实现步骤 索引（Indexing） 文档加载 将企业内容部的私有化数据（语料：非结构化数据）进行清洗 数据质量把控部门
9. RAFT（RAG + SFT）：让LLM更聪明地做领域特定 RAG
RAFT（RAG + SFT） 1. 背景与问题 大语言模型（LLM）在通用知识推理上已经非常强，但在专业领域（医疗、法律、企业文档等）里，单靠预训练的“常识”并不够。通常有两条路来注入领域知识： RAG（检索增强生成）：推理时调用检索器，给 LLM 提供相关文档参考。 微调（Fine-tuning）：直接用领域数据训练，让模型“学”到相关知识。 问题在于： 纯 RAG：像“开卷考试不复
从0训练 LLM 的完整流程
全文来自对 【LLM】从零开始训练大模型 的整理，但由于原文格式上阅读不太舒服，花了很长时间整理，同时也扩展了一些内容。 原文的配图会更丰富，如果需要可以去原文查阅，下文只包含重要的效果图展示。 在这篇笔记中，详细梳理一个完整的大语言模型（LLM）训练流程，包括： 模型预训练（Pretraining） Tokenizer 训练 指令微调（Instruction Tuning） 奖励模型（Re
8. DeepSeek-V3（V2）详读 4（架构 + MTP）
DeepSeek-V3（V2）详读 4 （架构 + MTP） 今天我们继续撸 DeepSeek-v3 的 technical report，这一部分要讲的就是 Multi-Token Prediction（MTP）。MTP 是 DeepSeek 提升训练效率、增强推理能力的关键技术，也是一大 cost‑saving 技术。可以说，MTP就是 DeepSeek 降本增效的法宝。在正式讲细节前，还是t
8. DeepSeek-V3（V2）详读 3（架构 + DeepSeekMoE）
DeepSeek-V3（V2）详读 3 （架构 + DeepSeekMoE） 本节主要内容：传统MoE架构、DeepSeekMoE、负载均衡（Load Balancing）、Switch Transformers（损失控制）、Switch Transformer的问题、DeepSeek的Loss-Free方法。 写在引用符号里的，都是添加的知识点和理解。没有添加的是原文翻译的concise整理
8. DeepSeek-V3（V2）详读 2（架构 + MLA）
DeepSeek-V3（V2）详读 2 （架构 + MLA） 这个部分是讲 架构 + MLA 的内容，补充了一些在 DeepSeek-V2 的内容，Attention，Multi-head Attention，softmax，KV cache，比较不同注意力变种（MHA, GQA, MQA, MLA）的 KV cache差异，RoPE，Decoupled RoPE。 2. 架构 DeepSee