第 02-0563 页

把任意本地LLM变成Jev决策引擎：开源项目LLM2Jev分享

> 来源：https://mp.weixin.qq.com/s/KhBgJRJazeBAeXhZfJfPhw > 号：gh_236c29ace291 > 专辑：3738870763257053194 > 标题：把任意本地LLM变成Jev决策引擎：开源项目LLM2Jev分享 > 真正文：2119 字　真图：1 张　真视频：0 个 id="js_content" style="visibility: hidden; opacity: 0; "> 最近 AI 圈最热的词之一，就是 Jev。前 OpenAI 研究员、RLHF 重要贡献者 Diogo Almeida 创立的 TypeSafe AI，于 2026 年 9 月 15 日正式发布了首个 “System One” 模型Jev。它不生成文本、不聊天、不写代码，只做一件事：输入非结构化状态，输出带类型、带概率、带置信度的结构化决策。官方宣称在特定决策任务上速度可提升 20-200 倍，成本降低 40-400 倍，输出几乎免费，且从根本上杜绝幻觉（因为输出结构预先定义）。它只支持三种题型： • Choice：从选项中选一个，返回概率分布 + 置信度• Score：对有序等级打分，返回加权分数 + 分布 + 置信度• Noul：返回某个条件成立的概率（0-1）很多人立刻想到：能不能把这个能力搬到自己本地的开源模型上？不调云、不花钱、数据不出本地。 LLM2Jev 就是在这个背景下诞生的开源项目。把任意本地LLM变成Jev决策引擎：开源项目LLM2Jev分享_素材/图01.jpg 这个项目是什么？项目定位非常清晰：将本地 Hugging Face 兼容的因果语言模型，适配成 Jev 风格的结构化决策引擎。运行时定义 Choice / Score / Noul 问题，直接返回带概率的类型化答案。作者明确声明：这是一个完全独立的开源项目，与 TypeSafe 或官方 Jev 没有任何隶属关系，也未获得其认可或授权。核心技术思路是 prefill-only 二进制推理（不进行自回归生成），通过高效后端（推荐 SGLang，也支持纯 Transformers）实现稳定、可批量的决策输出。目前仓库采用 Apache-2.0 许可证，结构完整：核心包、示例、测试、中英文 README，并提供 HTTP 服务封装。为什么值得关注？ 1. 真正本地化：用自己已有的开源模型（Qwen、Llama、DeepSeek 等），数据完全不出本地。2. 接口高度对齐：和官方 Jev 的三种题型保持一致，方便开发者平滑迁移或对比。3. 高性能后端：推荐使用 SGLang（Linux + NVIDIA GPU），也能 fallback 到 Transformers（支持 CPU）。4. 可服务化：一条命令就能起 llm2jev-serve，提供 /v1/systemone 接口，方便接入现有系统。5. 零训练门槛：不需要重新训练模型，直接在现有因果 LLM 上做适配。它特别适合那些需要高并发、低延迟、强隐私、结构化决策的场景：客服工单分发、风控判断、内容审核、自动化工作流路由、Agent 内部决策等。快速上手安装（推荐 uv）： git clone https://github.com/Yinsongxu/LLM2Jev.git cd LLM2Jev # 推荐（有 NVIDIA GPU） uv sync --extra sglang # 或仅 Transformers uv sync --extra transformers 最简单的 Python 示例： from llm2jev import JevRequest, LLM2Jev, Noul, SGLangBackend model_path = "/path/to/your/model" request = JevRequest( state="客户的包裹一直没有送到。", model=model_path, questions={ "is_delivery_issue": Noul( instructions="这是物流配送问题吗？", ) }, ) if __name__ == "__main__": with SGLangBackend(model_path) as backend: response = LLM2Jev(backend=backend).evaluate(request) print(response.to_dict()) 也可以同时提交多种题型，一次得到多个带概率的答案。启动 HTTP 服务后，还能用标准 curl 调用 /v1/systemone 接口，几乎和官方 API 风格保持一致。实际价值与边界 LLM2Jev 的最大意义，是把“Jev 这种决策范式”民主化了。官方 Jev 目前还在早期访问阶段，价格虽低但仍是云端服务。LLM2Jev 让你立刻在本地验证同一套交互范式，用自己的模型做实验、做产品原型、甚至做私有部署。当然也要客观认识它的边界： • 性能和决策质量完全取决于你选用的底层 LLM 能力。• 它不是 TypeSafe 官方训练的专用 System One 模型，没有经过 RLCD（面向校准决策的强化学习）等专项优化。• 校准概率、置信度表现会因模型而异，需要自己做充分评估。即便如此，它依然是目前最实用、最易上手的“本地 Jev 风格引擎”之一。写在最后 Jev 的出现，让很多人第一次认真思考：不是所有 AI 任务都需要生成文本。很多生产场景真正需要的，其实是快速、可靠、带概率的结构化判断。 LLM2Jev 把这个想法落地成了可运行的代码。无论你是想做本地 Agent 决策层、私有数据风控，还是单纯想体验“一次前向、多个概率答案”的快感，这个项目都值得 clone 下来玩一玩。去试试吧，把你手头最好的开源模型，变成一台真正的本地决策引擎。项目GitHub：https://github.com/Yinsongxu/LLM2Jev

不知道自己偏哪种体质？对一对就知道——九种体质，照镜子勾49题，1分钟出结果。

九种体质自测 →

小马

小马 · 杏和舒筋堂中医健康助手 · 真人当面看更准

您好，我是小马。哪里不舒服，跟我说说——是酸、是胀、是麻，还是睡不好，我在。

杏和舒筋堂 · 中医健康助手

本页回答只作健康参考，不替代当面看诊