LLM 基础

学习目标

本章关键词

承上：回顾与定位

前六天已经建立从神经网络、模型产物到端侧资源与视觉流水线的传统 AI 工程闭环。今天从模型类别切换到生成式语言模型，先建立一张不会被工具名和参数量带偏的全局地图。

本章讲解

先从任务定义开始：LLM 是条件概率模型

语言模型学习的是在已有 token 前缀条件下，下一个 token 的概率分布。训练时把真实序列向右错一位形成监督信号，一段文本就能贡献许多预测样本；推理时则从分布中选择一个 token，再把它追加到前缀继续预测。这个统一目标能迫使模型压缩语法、语义、事实共现与任务格式，但它优化的是预测似然，不是事实数据库的一致性、逻辑证明的完备性或现实世界的安全性。

从统计计数到分布式表示，核心问题一直是泛化

早期 n-gram 语言模型按有限历史统计下一个词，简单、可解释，却容易遭遇未见组合和维度爆炸。神经语言模型用 embedding 把离散词映射到连续空间，并用共享参数在相似上下文之间迁移统计强度。word2vec 等方法进一步展示分布式表示的可复用性。LLM 并非突然出现的魔法，而是语言建模目标、表示学习、计算规模与数据工程长期汇合的结果。

Transformer 让长依赖与大规模并行训练更可行

循环网络必须沿序列逐步传递状态，长路径让训练并行与远距离信用分配都更困难。Transformer 用 self-attention 建立 token 间的直接交互，再叠加逐位置前馈网络、残差连接、归一化与位置机制，使训练阶段可以并行处理整段序列。它并没有让自回归生成失去先后顺序；输入处理与输出生成是两种不同的计算形态，后续章节会分别拆解 Attention、Prefill、Decode 与 KV cache。

预训练、微调与对齐是三种不同责任

预训练从大规模语料学习通用表示和生成能力；监督微调用更小、更明确的数据塑造任务格式；指令对齐再用偏好数据或规则，让回答更符合人的意图与安全约束。三者都改变权重，却使用不同数据、目标和验收标准。工程上还要区分 prompt 内学习：它只在当前上下文中提供示例，并不会永久修改参数。把这些过程混称为“训练一下”会导致成本、隐私和可回滚性判断错误。

规模带来能力，也放大数据、评估与系统问题

参数量、训练数据和计算量共同扩大模型容量，但任一数字都不能单独代表能力。更大的模型可能展现更强的少样本迁移和任务泛化，也会需要更高训练成本、更多权重存储、更多推理带宽和更严格的数据治理。所谓基础模型强调一个预训练模型可适配许多下游任务；它不是“懂一切”的认证。比较模型时应固定任务、提示模板、上下文、精度、硬件和评估集。

把常见术语放回正确的生命周期

token 是 tokenizer 定义的离散编号；embedding 是编号进入模型后的向量；参数是训练后冻结并跨请求复用的长期状态；context 是本次请求可见的 token 序列；KV cache 是该序列在各层产生的临时中间状态；logits 是下一 token 的未归一化分数；sampling 决定如何从分布选出输出。术语一旦归位，模型文件、会话内存、服务调度与产品体验就能进入同一张资源账本。

概率流畅不等于事实可靠，能力必须用证据界定

模型会根据训练分布和当前上下文补全最可能的文本，因此可以生成语法流畅但事实错误、来源虚构或前后矛盾的内容。检索、工具调用、结构化约束和人工复核能降低风险，却不能把概率模型自动变成真值机。端侧产品要标出允许模型建议的范围，把设备控制、安全判断和不可逆操作留在确定性验证边界内，并用真实失效样本持续评估。

代码或命令示例

tokens = tokenizer(chat_template(messages))
for token in tokens:
    state = model(token, state)
while not stop:
    logits, state = model(next_token, state)
    next_token = sample(logits)

动手实验

工程陷阱

延伸阅读

• 神经概率语言模型原始论文（官方/原始资料）
• 《Attention Is All You Need》原始论文（官方/原始资料）
• GPT-3 原始论文（官方/原始资料）

启下：下一章如何使用本章能力

下一章进入 Tokenizer：追踪文本如何变成 token id，并把词表、特殊 token 与 chat template 视为模型 ABI。

下一天： Day 8 · Tokenizer