本文是「GPT 训练分步学习路径」的又一篇番外。GPT_teacher-3.37M-cn 这个教学项目本身只讲「从 0 到 1 预训练」，并不涉及微调，但微调是把开源大模型用起来的第一步，值得单独讲清。本文只做一件事：把「微调」这件事从头捋一遍——它和从零训练差在哪、有哪些流派、产物长什么样、日常怎么组合用。看完你应该能分清「全量 / LoRA / QLoRA」和「SFT &...

本文是「GPT 训练分步学习路径」的一篇番外，不绑定具体代码，只做一件事：把前面几篇里散落的术语，按「框架 / 训练 / 推理」三大类汇总成一张速查表。看完你应该能分清 PyTorch、Transformers、推理引擎各自管什么，也能听懂别人口中的「backward」「自回归解码」「KV Cache」「Trainer」到底在说什么。 目录 一句话先说清 框架三层关系：引...

本文是「GPT 训练分步学习路径」的一篇番外，不依赖任何具体项目，只讲清楚一件事：模型量化到底是什么、用来做什么、又是怎么做的。看完你应该能听懂别人口中的「量化到 8bit / 4bit」「INT8 推理」「GPTQ / AWQ」到底在说什么。 目录 一句话先说清 量化在量什么：从浮点到整数 为什么要量化：省空间、提速度 核心原理：scale 与零点 8bit、4bit ...

本文是「GPT 训练分步学习路径」的第五步，也是最后一步，基于 GPT_teacher-3.37M-cn 这个教学项目，讲清楚「训练好、验收过的模型，怎么一个字一个字地生成回答，又怎么包成一个能聊天的网页」。文中所有代码均来自本项目真实的 src/infer.py 和 src/web_demo.py。 分步学习路径共五步：① 看懂数据长什么样 → ② 模型核心（注意力+因果掩码）→ ③ 训练循环...

本文是「GPT 训练分步学习路径」的第四步，基于 GPT_teacher-3.37M-cn 这个教学项目，讲清楚「训练好的模型怎么验收、能不能上线」。文中所有代码均来自本项目真实的 src/evaluate.py 和 data/test.jsonl。 分步学习路径共五步：① 看懂数据长什么样 → ② 模型核心（注意力+因果掩码）→ ③ 训练循环 → ④ 验收评估 → ⑤ 推理与部署。本文是第四步...

本文是「GPT 训练分步学习路径」的第三步，基于 GPT_teacher-3.37M-cn 这个教学项目，讲清楚「模型是怎么从数据里一步步学会预测的」。文中所有代码均来自本项目真实的 src/train.py 和 config/config.yml。 分步学习路径共五步：① 看懂数据长什么样 → ② 模型核心（注意力+因果掩码）→ ③ 训练循环 → ④ 验收评估 → ⑤ 推理与部署。本文是第三步...

本文是「GPT 训练分步学习路径」的第二步，基于 GPT_teacher-3.37M-cn 这个教学项目，讲清楚「一串数字进了模型后，到底发生了什么，最后怎么变成对下一个字的预测」。文中所有代码引用均来自本项目真实的 src/model.py。 分步学习路径共五步：① 看懂数据长什么样 → ② 模型核心（注意力+因果掩码）→ ③ 训练循环 → ④ 验收评估 → ⑤ 推理与部署。本文是第二步。 ...

本文是「GPT 训练分步学习路径」的第一步，基于 GPT_teacher-3.37M-cn 这个教学项目，讲清楚「喂给模型的训练数据到底长什么样」。文中所有示例均来自本项目真实的 data/train.jsonl 和 src/data.py。 分步学习路径共五步：① 看懂数据长什么样 → ② 模型核心（注意力+因果掩码）→ ③ 训练循环 → ④ 验收评估 → ⑤ 推理与部署。本文是第一步。 ...

本文基于 GPT_teacher-3.37M-cn 这个教学项目，把分词器相关的核心概念、原理和常见疑问整理成一篇完整的解释文章。文中所有示例数据均来自本项目真实的 tokenizer/tokenizer.json。 目录 分词器是什么 分词器就是一个 JSON 文件吗 核心数据：vocab 与 merges 分词是查表吗 分词器训练：如何从语料总结规则 分词器和模型的绑定关系 能否直接用通...

最近在学习 GPT_teacher-3.37M-cn 这个教学项目。它用约 337 万个参数实现了一个可以在普通电脑上训练、推理的中文 GPT。本文先不深入数学公式和模型内部细节，而是从全局视角整理：一份中文问答数据，经过哪些步骤，最终变成一个能够生成回答的模型。 目录 为什么从一个小 GPT 项目开始 GPT 到底在学习什么 完整训练流程 模型训练完成后如何回答问题 项目代码与训练环节的对...