大模型架构 · 交互式模拟

Jev 大模型

只做判断、不生成文本的 决策模型。它把模型内部的原始打分 z 用温度缩放成 可校准的置信度 p,再用阈值 τ 决定“自动执行”还是“转人工”。 下面从数学公式一路走到可运行的代码。

01核心公式与参数

1.1基础决策单元:温度缩放 + Sigmoid

模型的最后一层只输出一个实数 z(logit),z 越大表示越倾向回答“是”。但原始 z 既不是概率, 也没有校准意义。温度缩放用参数 T 把 z 拉伸或压缩后再送入 Sigmoid: T > 1 时输出被压向 0.5(保守),T < 1 时输出被推向 0 / 1(激进),T = 1 等价于未校准的原始输出。 Jev 用 RLCD(校准决策强化学习)训练,目标是让“输出 0.8 置信度”的样本,真实正确率也接近 80%。

1.2三种任务模式的计算方式

Noul · 二值判断
Choice · 多选一(最多 255 项)
Score · 连续打分

Noul 回答“是 / 否”并给出一个 0~1 的校准概率,是最常用的模式。 Choice 把 K 个候选的 logits 经 Softmax 归一化成概率分布,取最大者为答案,同时给出该答案的置信度。 Score 把 Sigmoid 输出线性映射到用户自定义的评分区间 [smin, smax], 适合做“1~10 分”“0~100 分”这类连续量打分。

1.3决策规则与校准目标

决策规则(执行 / 转人工)
校准损失(RLCD / Brier 分数)
期望校准误差 ECE(评估校准质量)
Softmax 数值稳定写法(减去最大值)

决策规则是 Jev 与传统大模型最本质的区别:它的输出可以被直接写进 if/else。 置信度 p 达到阈值 τ 才自动执行,否则转人工或弃权——这套策略只有在概率被真正校准时才成立。 Brier 分数是 RLCD 训练时的优化目标,ECE 则用来事后评估校准质量: ECE 越接近 0,说明“模型说的 0.8”和“实际正确率 0.8”越一致。

1.4参数总表

符号 名称 含义 取值范围
z 原始打分(logit) 模型对当前输入给出的未归一化分数。正值倾向“是”,负值倾向“否”,0 表示完全不确定。 −6 ~ 6(演示区间)
zk 第 k 个选项的 logit Choice 模式下每个候选选项各有一个 logit,K 个 logit 共同决定选择结果。 −6 ~ 6(演示区间)
T 校准温度 控制置信度的“锐度”。T > 1 把概率压向 0.5(保守);T < 1 把概率推向两端(激进);T = 1 为原始输出。 0.20 ~ 5.00
τ 决策阈值 自动执行的门槛。置信度 p 达到 τ 才自动执行,否则转人工或弃权。 0.05 ~ 0.95
p 输出置信度 校准后的“是”概率(Noul)或胜出选项概率(Choice),可被程序直接使用。 0.00 ~ 1.00
pk 选项概率分布 Choice 模式下 K 个选项各自的概率,满足 Σpk = 1。 0.00 ~ 1.00
K 候选数量 Choice 模式下的选项总数,Jev 官方支持最多 255 个。 2 ~ 255
smin, smax 评分区间 Score 模式下用户自定义的分数上下界,用于把概率线性映射成可读分数。 自定义(演示 0 / 100)
ŷ 决策结果 1 表示执行,0 表示转人工 / 弃权。 {0, 1}
k̂ 选择结果 Choice 模式中概率最大的选项下标。 0 ~ K−1
yi 真实标签 第 i 个校准样本的正确答案,用于计算损失。 {0, 1}
N 样本数 一个校准批次中参与统计的样本总量。 ≥ 1
B 分箱数 计算 ECE 时把置信度区间等分的箱数,常用 10 或 15。 ≥ 2
nb 第 b 箱样本数 置信度落入第 b 个区间的样本数量。 ≥ 0
LRLCD 校准损失 Brier 分数,衡量预测概率与真实结果的偏离程度,越小说明概率越可信。 ≥ 0
ECE 期望校准误差 各分箱内“平均准确率”与“平均置信度”之差的加权和,越小校准越好。 0 ~ 1

02交互模拟:一次决策是怎么发生的

参数控制台

1.50
1.00
0.50

2.1开发者对接:请求 / 响应数据流

左侧任意调节参数,下面的 JSON 会实时更新——这正是 Jev 作为“决策组件”嵌入业务系统时的数据形态: 输入是一段待判断的内容(或已抽取的特征),输出是可直接用于分支判断的结构化结果。

请求 Request

                        
响应 Response

                        

2.2用 5 步做出一个小型 Jev Demo

  1. 拿到 logit:调用任意模型,让它的最后一层输出一个实数 z(Noul / Score)或一组实数 zk(Choice)。
  2. 除以温度:计算 z / T。这一步决定了判断的“锐度”,T 可以是一个全局常数,也可以用验证集拟合出来。
  3. 归一化:Noul / Score 用 Sigmoid;Choice 用 Softmax(记得先减去最大值以保证数值稳定)。
  4. 与阈值比较:Noul 判断 p >= τ;Choice 取 argmax;Score 线性映射到目标区间。
  5. 输出结构化结果:返回 {decision, confidence, action},其中 confidence 就是你做自动化分流、置信度过滤的依据。

2.3最小可运行代码(纯函数,无依赖)

复制即用:Jev 决策核心(生产环境请替换为 Decimal 或定点数)
// —— Noul:二值判断 ——
function jevNoul(logit, { T = 1, tau = 0.5 } = {}) {
  const p = 1 / (1 + Math.exp(-logit / T));      // σ(z / T)
  const decision = p >= tau ? 1 : 0;             // 0=转人工 1=执行
  return { decision, confidence: +p.toFixed(2), action: decision ? 'auto' : 'human' };
}

// —— Choice:多选一 ——
function jevChoice(logits, { T = 1 } = {}) {
  const scaled = logits.map(z => z / T);
  const max = Math.max(...scaled);               // 数值稳定
  const exps = scaled.map(s => Math.exp(s - max));
  const sum = exps.reduce((a, b) => a + b, 0);
  const probs = exps.map(e => e / sum);
  const k = probs.indexOf(Math.max(...probs));
  return { choice: k, confidence: +probs[k].toFixed(2), probs: probs.map(p => +p.toFixed(2)) };
}

// —— Score:连续打分 ——
function jevScore(logit, { T = 1, min = 0, max = 100 } = {}) {
  const p = 1 / (1 + Math.exp(-logit / T));
  const score = min + (max - min) * p;           // 线性映射到 [min, max]
  return { score: +score.toFixed(2), confidence: +p.toFixed(2) };
}

// —— 调用示例 ——
// jevNoul(1.5, { T: 1, tau: 0.5 })
//   → { decision: 1, confidence: 0.82, action: 'auto' }
// jevChoice([2.0, 0.5, -1.0, 0.3], { T: 1 })
//   → { choice: 0, confidence: 0.61, probs: [0.61, 0.14, 0.03, 0.11] }
// jevScore(0.8, { T: 1, min: 0, max: 100 })
//   → { score: 69.00, confidence: 0.69 }

03深入理解 Jev

标准介绍

Jev 是由 TypeSafe AI(创始人 Diogo Almeida,前 OpenAI 研究员)推出的决策型大模型, 官方定位为“System One(系统一)决策模型”。

它放弃了自然语言生成能力,只输出三类结构化结果:Choice(从最多 255 个预设选项中选一个)、 Score(在自定义尺度上打分)、Noul(回答是 / 否并返回 0~1 的置信概率)。

训练上采用 RLCD(校准决策强化学习),目标不是迎合人类偏好,而是让输出的概率值 真实反映判断的准确率。端到端延迟约 70~500 ms,输入价格低至每百万 Token 约 0.042 美元,输出免费。

通俗介绍

普通大模型像一个“会写作文的助手”:你问它问题,它回你一大段话, 你还得自己读完、解析、判断能不能用。

Jev 更像一个智能开关。你给它一段内容,它不写字, 只回答“是 / 否”“选哪个”“打几分”,并且顺带告诉你“我有多确定”。

因为它不生成文字,所以又快又便宜——快到可以嵌进每一条数据的处理流水线里, 便宜到可以给几百万条记录逐条打标。

解决了什么问题

  • 输出不可直接用:大模型输出的是自然语言,程序要额外写解析逻辑,脆弱且易错。Jev 直接输出机器可读的结构化结果。
  • 置信度不可信:大模型常常“95% 自信地胡说八道”,概率毫无校准意义。Jev 的概率经过校准,可以直接当阈值用。
  • 成本与延迟过高:逐条调用大模型做分类打标,费用和响应时间都难以承受。Jev 把它降低了 1~2 个数量级。

为什么重要

  • 让 AI 输出直接进 if/else:判断结果可以无缝接入自动化流程,而不是停在对话框里。
  • 让“置信度阈值”真正可用:比如“置信度 ≥ 0.9 自动执行,< 0.6 转人工”,这种策略只有在概率被校准时才成立。
  • 让大规模判断在经济上可行:速度和成本下降后,逐条判断从“抽样”变成“全量”。
  • 与大模型形成分工:大模型负责生成与推理,Jev 负责快速、可靠地做判断,各司其职。

应用场景

客服工单分流 意图分类 内容审核 风险打分 RAG 重排 Rerank 数据清洗打标 Agent 条件分支 字段抽取校验

凡是“输入一段文本、输出一个判断”的环节,都是它的用武之地。 尤其适合需要批量处理、低延迟、可量化置信度的流水线。

缺陷与边界

  • 不能生成文本:无法写作、翻译、总结、对话。
  • 无多步推理:不具备长程规划和复杂推理能力,长程浏览器交互类任务表现不佳。
  • 中文能力偏弱:官方文档标注中文、日文、韩文(CJK)准确率偏低,主要擅长英文短文本判断。
  • “零幻觉”需要谨慎理解:它保证不会输出预设选项之外的答案(格式安全),但不保证选对、判对。
  • 定位是组件而非助手:它不能替代大模型,只能作为决策模块嵌在系统里。

本页为 Jev 决策模型核心机制的简化教学模拟,用于直观理解温度缩放与置信度校准,不代表官方实现细节。