外观
大模型学习路线与知识体系总览
欢迎来到 LLM-Wiki。本站以极简纸面排版呈现现代大语言模型的全栈算法与系统工程知识,按理论与工程依赖链编排为 13 大分册、81 篇双模式核心词条。
双模式阅读与右侧导航说明
- 双模式切换(快捷键
M):每篇词条均提供「讲解模式」(开篇先用大白话明确概念定义,再用生活类比与直觉拆解扫盲)与「技术 Wiki」(起源演进、数学推导、优化模式、PyTorch 实现与原论文直链)两种视图。 - 右侧栏定位与关联:实时展示当前词条在模型架构中的精确槽位、上下游依赖图谱、横向关联词条及随模式联动的本页目录。
- 悬停预览:鼠标悬停在正文或右侧栏任意站内链接上,即可在不打断阅读的情况下查看目标词条的定义与年代。
全栈学习路径
图表加载中...
五条推荐阅读主线
路线 A · 模型架构与整车解剖(算法入门 / 面试)
- 信息论:交叉熵与困惑度 → MLE 与 ELBO → Scaling Laws
- BPE 分词 → Token Embedding
- Transformer 拓扑 → 自注意力 MHA → MQA / GQA / MLA
- RoPE 旋转位置编码 → RMSNorm 与 QK-Norm → SwiGLU 前馈网络 → 稳定性微构件
- 混合专家 MoE → Mamba → Gated DeltaNet / TTT → 扩散语言模型 dLLM
- 整车串联:DeepSeek-V2/V3/R1 · LLaMA 1→4 · Qwen 2.5/3 · GPT / Gemma / Mistral
路线 B · 预训练、硬件算子与万卡系统(Infra / 训练架构)
- 预训练目标 CLM / MTP → 优化器 AdamW / Muon → μP 参数化 → WSD 调度 → 权重平均 EMA/SWA
- 混合精度 BF16 / FP8 → 数据工程 → 合成数据飞轮
- GPU 与 Roofline 模型 → Triton 融合算子 → NCCL 与 DeepEP 通信
- ZeRO / FSDP → TP / SP / CP → DualPipe / EP → 万卡容错与 Loss Spike
路线 C · 后训练微调、对齐与推理 RL(Post-Training)
- SFT 监督微调 → LoRA / DoRA / QLoRA → 模型合并 TIES / DARE
- 奖励建模 ORM / PRM → RLHF 与 PPO → DPO / KTO / SimPO
- RFT / STaR 与 Self-Play → GRPO / DAPO / RLVR → 多轮 Agentic RL → 异步 RL 引擎 veRL
路线 D · 推理引擎优化与 Agent 工程(Inference & Agent)
- FlashAttention-1/2/3 → FlashDecoding → KV Cache 与 PagedAttention → KV Cache 极限压缩
- Serving 调度与 PD 分离 → 投机解码 → 语法约束解码 XGrammar → GPTQ / AWQ / FP8 量化
- 长上下文与稀疏注意力 → CoT / MCTS → RAG / GraphRAG → 上下文工程 → Agent 长期记忆 → 编程 Agent 闭环