Jev 决策模型
System One:用并行、类型受限且可校准的决策替代自由文本生成
建议阅读:约 20 分钟
学习目标
本章关键词
| 关键词 | 解释 | ESP32 工程类比 |
|---|---|---|
| System One 决策 | 把共享状态映射到有限、预定义且有类型的答案,而非生成自由文本的快速决策工作负载。 | 像一个固定 opcode 表的协处理器:输入寄存器快照,输出枚举结果或状态码。 |
| choice / score / noul | Jev 公开的答案类别:有限选项、数值评分与显式不确定/无足够依据结果。 | 像 enum、带单位的测量值和明确错误码,调用方可分别校验和处理。 |
| 校准 | 用带标签样本检验预测置信度与实际正确频率是否匹配,并据此选择阈值。 | 像用标准源校准 ADC;读数看似精细不代表物理量准确。 |
| 确定性安全边界 | 独立于模型建议执行 schema、范围、互锁、时限和降级策略的硬规则层。 | 像驱动执行器前的硬件保护、看门狗和状态机,而不是对自然语言的信任。 |
承上:回顾与定位
Day 9 建立 Transformer 总图,Day 10 把 Attention 的并行训练与自回归生成边界讲清。本章在进入 KV Cache 前插入另一条路线:当产品只需有限、可审计的决策时,是否应避免把开放式文本生成带入控制路径。
历史发展脉络
今天的类型受限决策不是凭空出现:形式化计算、有限状态控制、统计分类、概率校准和现代生成模型共同塑造了“让系统在不确定性下输出可验证接口”的工程语言。Jev 的公开资料披露的是其 System One 服务语义,而不是底层层数、权重或训练细节。
人工智能研究把推理与控制作为独立问题提出
Dartmouth 提案把学习、语言和抽象等问题列为可研究的机器智能主题,为后来区分符号规则、统计分类和生成模型留下问题框架。
Dartmouth Proposal 原始文本 ↗Transformer 把大规模条件生成推向主流
Attention Is All You Need 展示以 Attention 为主干的序列到序列架构,后续自回归系统由此把开放式 token 生成带入工程主线。
Transformer 原始论文 ↗Jev 公开 System One 的并行类型受限服务契约
TypeSafe AI 的公开架构材料说明 shared state、独立 typed questions、choice/score/noul 与并行非自回归评估;其内部模型结构未公开,工程评估应以可观察接口和真实任务为准。
Jev 官方架构说明 ↗类比图解
一块带安全继电器的并行诊断协处理板
主控 MCU 把带时间戳的传感器快照送到协处理板。协处理板同时回答“是否需要维护”“哪条网络路径可用”“告警等级如何”,每题只能写入规定寄存器或返回明确的无结论码。安全继电器并不关心协处理板说得多流畅;它只接受在当前模式、范围和联锁都满足时的白名单命令。
类比的边界: Jev 不是已公开硬件协处理器,公开资料也未披露其内部神经网络层结构;类比只解释受限接口、并行问题和确定性执行权的分离。
本章讲解
先把问题分成两类:生成内容,还是在有限选项中做决定
Attention 章节已经说明,decoder-only LLM 通常按 P(y|x)=∏ₜP(yₜ|x,y₍ₜ₎) 逐 token 产生文本:第 t 个 token 依赖先前已经选择的 token。这正像 UART 发出可变长度报文:后一字节要等前一字节确定,输出形状和长度在运行前并不固定。它适合解释、摘要、对话和代码草拟,却把延迟、tokenizer、采样、停止条件与 KV 状态带进服务路径。Jev 的公开资料描述的不是另一套已公开权重和层配置的 Transformer 替代物,而是一种 System One 决策服务契约:给定一份共享 state,再提出多个有类型、有限输出空间的问题,各问题可独立评估。它不承诺自由文本续写;它的价值在于把“应该选哪一个预定义动作或等级”从开放式生成缩成可验证的接口。因而不要把它宣传成对所有 LLM 工作负载都更快的通用架构:公开的 40–200× 说法针对受约束的决策工作负载,必须与相同输入、输出、硬件和质量标准比较。
共享 state 加问题映射,像一次 DMA 快照被多个外设并行消费
在公开的 Jev 架构描述中,调用方提交一份 shared state 和一组 questions。每个问题定义自己需要的答案类型和允许值;系统不必先生成一段自然语言,再让后续问题去解析那段文字。对于嵌入式工程师,这更像把一次传感器/DMA 快照放进只读缓冲区,再由多个独立外设同时读取:温度风险问题、网络恢复问题和维护优先级问题都从同一份快照取字段,但一个问题的答案不应成为另一个问题的隐式 token 前缀。并行不等于没有依赖:state 的采样时刻、版本、单位、缺失字段和有效期必须固定;若第二个决定真的依赖第一个决定,应把这种依赖显式写成主机侧流程或下一轮请求,而不是假装它仍是独立问题。这样可观察性也更好:每个问题可拥有输入 schema、选项集合、答案、置信度、耗时和版本记录,而不是在一段自由文本里反向猜测模型究竟作了什么决定。
把 choice、score、noul 当成接口类型,而不是自然语言标签
Jev 公开接口列出 choice、score 和 noul 三类输出。choice 用于从有限候选项中选择,例如 {继续采样、请求人工、进入安全模式};score 表示一个数值评分,适合排序、优先级或风险等级,但必须同时定义量纲、范围、方向和阈值;noul 表示“不确定/没有足够依据”的受支持结果,使系统不必伪造一个看似完整的选择。它们相当于 C 的 enum、带范围的数值以及显式 error code:调用者可以编译期或运行期验证形状,再将其送入确定性策略。类型受限能防止“返回了未定义动作名、JSON 少字段、单位写错”的接口错误,却不能证明语义正确。例如模型可以合法地输出 `continue`,但对异常温度模式判断错误。因此 schema 验证只是第一道门;状态新鲜度、物理范围、设备模式、速率限制、互锁和人工升级规则仍必须独立执行。也不要把 noul 当作异常后偷偷改成默认执行,它应触发已设计好的保守路径和可观测事件。
置信度需要校准:0.9 是可检验的频率声明,不是九成真理
决策接口能返回分数或 confidence,但分数集中、排序稳定或模型自称“确定”,并不自动等于正确。工程上所谓校准,是在与实际部署相近且带真实标签的样本中,把预测置信度分桶后观察:所有约 0.9 的预测是否真的约九成正确?这类似 ADC 标定:寄存器读出 900 并不意味着物理量准确,必须对照已知标准、温度和批次误差。为每个任务保留训练外、时间上分离的验证集,记录 reliability diagram、覆盖率、错误代价与阈值下的 false accept / false reject。若“错误执行”代价远高于“请求人工”,阈值应偏保守,并允许 noul、超时和状态过期直接走降级。校准也会漂移:传感器换型、固件升级、环境季节变化或问题选项修改后,旧阈值不再自动可信。把模型版本、question schema、输入分布和阈值版本一起记录,才有条件复现一次动作为什么被允许或拒绝。
速度比较必须匹配工作负载,不能用受限决策替换开放式对话的账本
自回归 LLM 的延迟常包含 tokenizer、prefill、逐 token decode、采样和流式传输;回答越长,decode 的串行依赖和 KV 读写越明显。一个并行的有限决策接口避开了自由文本逐 token 输出,当然可能在“同一快照回答多个固定问题”的测量中拥有很低延迟。但这不表示它能生成解释、写故障报告、处理任意新选项,或无代价吸收超长上下文。比较时要固定 state 大小、问题数、选项数、硬件、并发、预热状态、p50/p95、超时策略和质量验收;若 LLM 的输出还需解析成动作,也要把解析、重试和拒绝成本计入。对 ESP32 项目,最有价值的指标通常不是某个供应商的单点速度,而是从采样时间戳到安全决策返回的端到端尾延迟、过期率、网络失败率与错误动作风险。这样才能决定一个任务应留在本地状态机、交给 Edge Host 的类型受限决策,还是确实需要自由文本模型。
职责边界:Edge Host 可以建议,ESP32 必须掌握确定性执行权
把 Jev 放在 Edge Host,不是因为 ESP32 不重要,而是为了把职责放回资源和安全边界:ESP32 采集传感器、维护实时状态机、做本地阈值和联锁、验证消息完整性并驱动执行器;Edge Host 汇集更丰富的 state、运行受限决策服务、记录审计和更新模型版本;云端若存在,只能作为明确的非实时回退或离线分析路径。通信契约应包含消息版本、单调序号、时间戳、单位、完整性校验、deadline 和重放规则。MCU 收到 reply 后仍要验证 schema、choice 是否在允许集、score 是否在范围、confidence 是否过校准阈值、state 是否尚未过期、当前模式是否允许该动作。任何一项失败都进入已测试的 fail-closed 或安全降级状态。这个设计与下一章 KV Cache 的关系也很清楚:只有当你选择自回归 LLM 生成时,才要承担随 token 增长的会话缓存;受限决策并没有把所有问题变简单,却改变了状态和延迟的成本模型。
从一个可验收的小任务开始,而不是把所有控制逻辑交给模型
第一版不要让模型直接控制电机、继电器或安全关键阀门。选择一个本来就有人工复核或可回退的任务,例如诊断工单路由、告警合并优先级、测试报告分级或建议下一步检查项。先写出有限答案表、每个答案的含义、输入 schema、ground truth 获取方式和失败动作;再收集包含正常、边界、传感器故障、网络抖动和未知状态的样本。离线测量准确率之外,还要计算每个阈值的拒绝率、错放行率、错拒绝率和延迟分位数;在线采取影子模式,让系统记录建议而不执行,比较人工或规则结果后再逐步放开低风险路径。每次变更问题文本、选项、state 字段、模型或阈值,都应像修改通信协议一样版本化并回归测试。这样“更快”才成为可审计的系统性质,而不是演示视频里的印象。
动态过程演示
一次类型受限决策如何穿过 ESP32—Edge Host 安全链
六步流程把状态采集、并行决策、置信度校准与最终执行权分开,避免把模型的建议误读为执行许可。
采集状态快照 · sensors + mode + timestamp
ESP32 固化单位、序号和新鲜度
输入契约先于任何模型调用
循环 / 返回条件: 每个新状态快照重新开始;模型不会持有 MCU 的执行权。若问题之间存在依赖,显式创建下一轮状态和请求,而不是隐藏在自由文本里。
查看静态全景图
ESP32 sensors/state machine ──validated snapshot──► Edge Host
│
shared state ─► typed question map ─► choice / score / noul
│
ESP32 policy + allowlist + range/interlock ◄── typed decision + confidence
│ valid │ timeout / low confidence / invalid
└──────────────► actuator safe degraded state ◄──────────────┘代码或命令示例
request = { state: validated_snapshot, questions: typed_questions }
reply = jev_decide(request) # choice / score / noul + confidence
if reply.valid && calibrated(reply.confidence) && policy_allows(reply):
esp32_execute(reply.choice)
else:
esp32_enter_safe_degraded_state()动手实验
实验记录与导出
工程陷阱
核心测试
完成 3 道单选题后提交;提交前不会显示答案。
在 GitHub 上讨论本章
登录 GitHub 后提问、补充实测或分享你的实现;评论会保存在本课程的 GitHub Discussions 中。
评论区需要 JavaScript;也可以直接打开 GitHub 讨论区: 打开 GitHub 讨论区 ↗
延伸阅读
启下:下一章如何使用本章能力
下一章回到自回归 LLM 的工程代价:若任务确实需要逐 token 生成,历史 K/V 为什么可复用、会话内存如何线性增长,以及服务如何回收状态。
下一天: Day 12 · KV Cache