端侧 AI · 17 天工程路线
目录首页 English
DAY 11

Jev 决策模型

System One:用并行、类型受限且可校准的决策替代自由文本生成

建议阅读:约 20 分钟

学习目标

区分自回归 LLM 的逐 token 生成与 Jev 公开的并行、类型受限决策接口;能把 choice、score、noul 与校准置信度放进 ESP32—Edge Host 的安全架构,并用标注数据验证阈值。

本章关键词

关键词解释ESP32 工程类比
System One 决策把共享状态映射到有限、预定义且有类型的答案,而非生成自由文本的快速决策工作负载。像一个固定 opcode 表的协处理器:输入寄存器快照,输出枚举结果或状态码。
choice / score / noulJev 公开的答案类别:有限选项、数值评分与显式不确定/无足够依据结果。像 enum、带单位的测量值和明确错误码,调用方可分别校验和处理。
校准用带标签样本检验预测置信度与实际正确频率是否匹配,并据此选择阈值。像用标准源校准 ADC;读数看似精细不代表物理量准确。
确定性安全边界独立于模型建议执行 schema、范围、互锁、时限和降级策略的硬规则层。像驱动执行器前的硬件保护、看门狗和状态机,而不是对自然语言的信任。

承上:回顾与定位

Day 9 建立 Transformer 总图,Day 10 把 Attention 的并行训练与自回归生成边界讲清。本章在进入 KV Cache 前插入另一条路线:当产品只需有限、可审计的决策时,是否应避免把开放式文本生成带入控制路径。

从源头看今天

历史发展脉络

今天的类型受限决策不是凭空出现:形式化计算、有限状态控制、统计分类、概率校准和现代生成模型共同塑造了“让系统在不确定性下输出可验证接口”的工程语言。Jev 的公开资料披露的是其 System One 服务语义,而不是底层层数、权重或训练细节。

1943

形式神经元把阈值决策写成可计算单元

McCulloch 与 Pitts 用形式化神经元连接逻辑与神经活动,早期说明学习系统也可被描述为受限的输入—输出决策。

McCulloch–Pitts 原始论文 ↗
1956

人工智能研究把推理与控制作为独立问题提出

Dartmouth 提案把学习、语言和抽象等问题列为可研究的机器智能主题,为后来区分符号规则、统计分类和生成模型留下问题框架。

Dartmouth Proposal 原始文本 ↗
1960

感知机展示数据驱动的有限分类输出

Rosenblatt 以感知机讨论可学习的模式分类,强调模型输出可以是有限类别而不必是一段自由语言。

Rosenblatt 原始论文 ↗
1983

概率预测的校准成为可检验性质

Dawid 讨论概率预测的校准与检验,为把“模型的把握”变成可由观测频率反证的工程主张提供了基础。

Dawid 校准论文 ↗
2017

Transformer 把大规模条件生成推向主流

Attention Is All You Need 展示以 Attention 为主干的序列到序列架构,后续自回归系统由此把开放式 token 生成带入工程主线。

Transformer 原始论文 ↗
近年

Jev 公开 System One 的并行类型受限服务契约

TypeSafe AI 的公开架构材料说明 shared state、独立 typed questions、choice/score/noul 与并行非自回归评估;其内部模型结构未公开,工程评估应以可观察接口和真实任务为准。

Jev 官方架构说明 ↗
今天为什么仍然重要: 对 ESP32 工程师而言,这条历史的关键不是把每种模型塞进 MCU,而是把任务先分类:确定性控制留在固件;有限不确定决策可以交给带类型、阈值和审计的主机服务;确实需要开放表达时,才进入后续的 tokenizer、KV 与 runtime 成本账本。
借熟悉的系统建立直觉

类比图解

一块带安全继电器的并行诊断协处理板

主控 MCU 把带时间戳的传感器快照送到协处理板。协处理板同时回答“是否需要维护”“哪条网络路径可用”“告警等级如何”,每题只能写入规定寄存器或返回明确的无结论码。安全继电器并不关心协处理板说得多流畅;它只接受在当前模式、范围和联锁都满足时的白名单命令。

只读快照 SRAM shared state 与版本化输入 schema
并行诊断单元 独立 typed questions 的非自回归评估
状态寄存器 choice、score、noul 与 confidence
安全继电器 ESP32 的 allowlist、范围检查、联锁与降级

类比的边界: Jev 不是已公开硬件协处理器,公开资料也未披露其内部神经网络层结构;类比只解释受限接口、并行问题和确定性执行权的分离。

本章讲解

先把问题分成两类:生成内容,还是在有限选项中做决定

Attention 章节已经说明,decoder-only LLM 通常按 P(y|x)=∏ₜP(yₜ|x,y₍ₜ₎) 逐 token 产生文本:第 t 个 token 依赖先前已经选择的 token。这正像 UART 发出可变长度报文:后一字节要等前一字节确定,输出形状和长度在运行前并不固定。它适合解释、摘要、对话和代码草拟,却把延迟、tokenizer、采样、停止条件与 KV 状态带进服务路径。Jev 的公开资料描述的不是另一套已公开权重和层配置的 Transformer 替代物,而是一种 System One 决策服务契约:给定一份共享 state,再提出多个有类型、有限输出空间的问题,各问题可独立评估。它不承诺自由文本续写;它的价值在于把“应该选哪一个预定义动作或等级”从开放式生成缩成可验证的接口。因而不要把它宣传成对所有 LLM 工作负载都更快的通用架构:公开的 40–200× 说法针对受约束的决策工作负载,必须与相同输入、输出、硬件和质量标准比较。

共享 state 加问题映射,像一次 DMA 快照被多个外设并行消费

在公开的 Jev 架构描述中,调用方提交一份 shared state 和一组 questions。每个问题定义自己需要的答案类型和允许值;系统不必先生成一段自然语言,再让后续问题去解析那段文字。对于嵌入式工程师,这更像把一次传感器/DMA 快照放进只读缓冲区,再由多个独立外设同时读取:温度风险问题、网络恢复问题和维护优先级问题都从同一份快照取字段,但一个问题的答案不应成为另一个问题的隐式 token 前缀。并行不等于没有依赖:state 的采样时刻、版本、单位、缺失字段和有效期必须固定;若第二个决定真的依赖第一个决定,应把这种依赖显式写成主机侧流程或下一轮请求,而不是假装它仍是独立问题。这样可观察性也更好:每个问题可拥有输入 schema、选项集合、答案、置信度、耗时和版本记录,而不是在一段自由文本里反向猜测模型究竟作了什么决定。

把 choice、score、noul 当成接口类型,而不是自然语言标签

Jev 公开接口列出 choice、score 和 noul 三类输出。choice 用于从有限候选项中选择,例如 {继续采样、请求人工、进入安全模式};score 表示一个数值评分,适合排序、优先级或风险等级,但必须同时定义量纲、范围、方向和阈值;noul 表示“不确定/没有足够依据”的受支持结果,使系统不必伪造一个看似完整的选择。它们相当于 C 的 enum、带范围的数值以及显式 error code:调用者可以编译期或运行期验证形状,再将其送入确定性策略。类型受限能防止“返回了未定义动作名、JSON 少字段、单位写错”的接口错误,却不能证明语义正确。例如模型可以合法地输出 `continue`,但对异常温度模式判断错误。因此 schema 验证只是第一道门;状态新鲜度、物理范围、设备模式、速率限制、互锁和人工升级规则仍必须独立执行。也不要把 noul 当作异常后偷偷改成默认执行,它应触发已设计好的保守路径和可观测事件。

置信度需要校准:0.9 是可检验的频率声明,不是九成真理

决策接口能返回分数或 confidence,但分数集中、排序稳定或模型自称“确定”,并不自动等于正确。工程上所谓校准,是在与实际部署相近且带真实标签的样本中,把预测置信度分桶后观察:所有约 0.9 的预测是否真的约九成正确?这类似 ADC 标定:寄存器读出 900 并不意味着物理量准确,必须对照已知标准、温度和批次误差。为每个任务保留训练外、时间上分离的验证集,记录 reliability diagram、覆盖率、错误代价与阈值下的 false accept / false reject。若“错误执行”代价远高于“请求人工”,阈值应偏保守,并允许 noul、超时和状态过期直接走降级。校准也会漂移:传感器换型、固件升级、环境季节变化或问题选项修改后,旧阈值不再自动可信。把模型版本、question schema、输入分布和阈值版本一起记录,才有条件复现一次动作为什么被允许或拒绝。

速度比较必须匹配工作负载,不能用受限决策替换开放式对话的账本

自回归 LLM 的延迟常包含 tokenizer、prefill、逐 token decode、采样和流式传输;回答越长,decode 的串行依赖和 KV 读写越明显。一个并行的有限决策接口避开了自由文本逐 token 输出,当然可能在“同一快照回答多个固定问题”的测量中拥有很低延迟。但这不表示它能生成解释、写故障报告、处理任意新选项,或无代价吸收超长上下文。比较时要固定 state 大小、问题数、选项数、硬件、并发、预热状态、p50/p95、超时策略和质量验收;若 LLM 的输出还需解析成动作,也要把解析、重试和拒绝成本计入。对 ESP32 项目,最有价值的指标通常不是某个供应商的单点速度,而是从采样时间戳到安全决策返回的端到端尾延迟、过期率、网络失败率与错误动作风险。这样才能决定一个任务应留在本地状态机、交给 Edge Host 的类型受限决策,还是确实需要自由文本模型。

职责边界:Edge Host 可以建议,ESP32 必须掌握确定性执行权

把 Jev 放在 Edge Host,不是因为 ESP32 不重要,而是为了把职责放回资源和安全边界:ESP32 采集传感器、维护实时状态机、做本地阈值和联锁、验证消息完整性并驱动执行器;Edge Host 汇集更丰富的 state、运行受限决策服务、记录审计和更新模型版本;云端若存在,只能作为明确的非实时回退或离线分析路径。通信契约应包含消息版本、单调序号、时间戳、单位、完整性校验、deadline 和重放规则。MCU 收到 reply 后仍要验证 schema、choice 是否在允许集、score 是否在范围、confidence 是否过校准阈值、state 是否尚未过期、当前模式是否允许该动作。任何一项失败都进入已测试的 fail-closed 或安全降级状态。这个设计与下一章 KV Cache 的关系也很清楚:只有当你选择自回归 LLM 生成时,才要承担随 token 增长的会话缓存;受限决策并没有把所有问题变简单,却改变了状态和延迟的成本模型。

从一个可验收的小任务开始,而不是把所有控制逻辑交给模型

第一版不要让模型直接控制电机、继电器或安全关键阀门。选择一个本来就有人工复核或可回退的任务,例如诊断工单路由、告警合并优先级、测试报告分级或建议下一步检查项。先写出有限答案表、每个答案的含义、输入 schema、ground truth 获取方式和失败动作;再收集包含正常、边界、传感器故障、网络抖动和未知状态的样本。离线测量准确率之外,还要计算每个阈值的拒绝率、错放行率、错拒绝率和延迟分位数;在线采取影子模式,让系统记录建议而不执行,比较人工或规则结果后再逐步放开低风险路径。每次变更问题文本、选项、state 字段、模型或阈值,都应像修改通信协议一样版本化并回归测试。这样“更快”才成为可审计的系统性质,而不是演示视频里的印象。

让数据真正跑起来

动态过程演示

一次类型受限决策如何穿过 ESP32—Edge Host 安全链

六步流程把状态采集、并行决策、置信度校准与最终执行权分开,避免把模型的建议误读为执行许可。

步骤 1 / 6

采集状态快照 · sensors + mode + timestamp

ESP32 固化单位、序号和新鲜度

观察点

输入契约先于任何模型调用

循环 / 返回条件: 每个新状态快照重新开始;模型不会持有 MCU 的执行权。若问题之间存在依赖,显式创建下一轮状态和请求,而不是隐藏在自由文本里。

查看静态全景图
ESP32 sensors/state machine ──validated snapshot──► Edge Host
                                                    │
                    shared state ─► typed question map ─► choice / score / noul
                                                    │
ESP32 policy + allowlist + range/interlock ◄── typed decision + confidence
        │ valid                                      │ timeout / low confidence / invalid
        └──────────────► actuator              safe degraded state ◄──────────────┘

代码或命令示例

request = { state: validated_snapshot, questions: typed_questions }
reply = jev_decide(request)  # choice / score / noul + confidence
if reply.valid && calibrated(reply.confidence) && policy_allows(reply):
    esp32_execute(reply.choice)
else:
    esp32_enter_safe_degraded_state()

动手实验

选择一个有边界的路由或评分任务,例如“把设备诊断快照分为本地恢复、请求人工、禁止动作三类”。为每个选项写明有限集合、输入字段、真实标签和不可越过的安全规则;在留出的标注样本上画出置信度—正确率曲线,选择阈值并统计 false accept / false reject。最后注入超时、低置信度、未知选项和畸形字段,确认 ESP32 一律保持安全降级。
实验记录与导出

工程陷阱

避免误判: 把 Jev 说成已公开内部结构的“Transformer 替代品”,把类型受限误当作语义零错误,或让带 confidence 的 reply 绕过 MCU 联锁。公开资料描述的是服务契约;置信度须用本地标注数据校准,最终执行权必须留在确定性安全边界。

核心测试

完成 3 道单选题后提交;提交前不会显示答案。

1. 哪项最准确地描述 Jev 公开的 System One 决策接口?
2. 为什么设备动作前仍要对高 confidence 的 choice 执行确定性策略?
3. 比较 Jev 与自回归 LLM 的速度时,哪个做法可信?

一起把本章讲清楚

在 GitHub 上讨论本章

登录 GitHub 后提问、补充实测或分享你的实现;评论会保存在本课程的 GitHub Discussions 中。

评论区需要 JavaScript;也可以直接打开 GitHub 讨论区: 打开 GitHub 讨论区 ↗

延伸阅读

启下:下一章如何使用本章能力

下一章回到自回归 LLM 的工程代价:若任务确实需要逐 token 生成,历史 K/V 为什么可复用、会话内存如何线性增长,以及服务如何回收状态。

下一天: Day 12 · KV Cache