AI-Workshop 文献分享 #25 — JEV：System 1 决策推理的工程化落地

分享人：qyr | 日期：2026-09-26 21:30

项目：JEV（未开源，算法细节为根据公开资料的推测）

主题：JEV —— 基于卡尼曼双系统理论的轻量决策推理接口与 Harness 集成

JEV是最近很火的一个AI项目，他基于卡尼曼的System 1和System 2理论，提出了一种AI应用的方式。

系统1：快速、直觉、情感化、无意识、自动化系统2：慢速、逻辑、理性、有意识、需要努力

当前的LLM模型，更多的是在模拟系统2，而JEV则是在模拟系统1。

JEV 的架构

1. 输入

Jev 输入分为两部分：上下文state + 一组结构化判定查询queries（每个查询包含问题描述 + 候选选项集合）。 API 将 state 与 queries 分开传入，不是简单拼接成一条 prompt。推理流程：

先对state做一次 prefill，计算并缓存 state 的 KV；
多个结构化查询作为 suffix 批量并行送入，复用 state 的 KV 缓存，避免重复编码 state。

一次请求可以携带多个独立查询，并行计算，不是只能一次处理一个问题。

2. Attention 层

Attention 训练与推理均使用双向注意力（类似 BERT Encoder），无 causal mask，同序列内 token 可以互相看到完整上下文。原因：模型目标不是自回归预测下一个 token，而是抽取完整上下文的语义表征，用于 state 与候选选项之间的匹配打分。

补充：同一个 batch 里不同 query 的 suffix 之间会加 mask 互相隔离，防止不同问题互相干扰。

3. 输出

移除传统 LLM 的 LM Head（词表预测头），替换为state-option 成对效用打分内核。对每一个候选选项，计算 state 表征与该选项表征之间的效用分数（可以理解为一个神经元）

Noul（二分类）：内置固定候选Yes/No，得到两个分数，softmax 得到二者概率；
Choice（单选）：使用 API 传入的候选集合，并行性算出全部选项效用分，在候选集合上做 softmax，取概率最高选项；
Score（打分任务）：内部把分数区间离散成一组 bin 作为候选，算出各 bin 概率，再加权聚合得到期望分数；
多选场景：模型本身只输出全部选项概率；top-k 筛选是 Harness 上层业务逻辑，不是模型内置能力。

查询类型、候选集合、top-k 等元参数，全部由 API 调用方（Harness）外部传入，模型不会自动识别任务类型。

注意，JEV没有开源，所以涉及的算法细节不一定准确，上述仅反映了设计的可能思想。

JEV的训练

虽然没有开源，但是从很多公开资料中可以了解到，JEV的训练和LLM很像，分为：

预训练，方法不太清楚
后训练
SFT
RLCD 与 RLHF 不同，提升的是决策的正确率和概率的准确性（90%的准确性应该对齐90%的概率）

JEV的优势

最大的优势是快且便宜，每次调用LLM，其实是一个一个token输出，对于长篇的回答，需要很多次调用；JEV仅处理几次输出，效率很高。这就有点类似System1和System2的差异，System1是快速、直觉、情感化、无意识、自动化，而System2是慢速、逻辑、理性、有意识、需要努力。人在工作时，其实有大量的System1参与，不可能全是System2。

JEV的工程化实践

JEV目前得到了大量的应用，其可以在整个Harness调用循环中充当重要角色，如果一个任务的某一个步骤是决策形式的，以往需要使用LLM做推理，现在可改用JEV，达到事半功倍的效果。 JEV提供官方的MCP和Skill，可以直接接入主流harness，由模型自己觉得在什么时候使用JEV

除了此场景外，JEV还可以充当分类器，如质量门控，审核器等，代替LLM在该方面的应用。