JEV-27B-VL 决策服务全记录:零训练部署 + 7800 题完整评测(45.8 → 97.9)

上一篇 《个人项目[my-jev]》 里,我用 1.5B 小模型做了一个只能看文本的决策服务。这次把基座换成 27B 大模型:不光能看文本,还能看图,复杂判断的能力强了很多——而且模型一次都没训练,直接给现成模型挂上一个现成的"决策插件"就部署成了服务。评测做了三件事:7800 道官方题、500 多道自出题,再和开源竞品 StartLux 在同一台机器上正面打了一架。

结果一句话先放这儿:不开"思考",JEV 45.8 分,输 StartLux 的 50.6;开了"思考",97.9 分,领先 47 分。而在一套双方都没见过的私有题上,两家基本打平。

阅读更多

用 sgLang + DFlash2 在 4 张 RTX 3090 上跑通 Qwen3.8-27B FP8:部署记录与踩坑

背景与目标

手头几台实验室服务器都是消费级显卡(RTX 3090 24G×4 / ×8),之前用 vLLM 部署 Qwen3.8-27B 时体验很一般:BF16 权重 52G,tp=8 摊到每张卡上解码速度也就几十 tok/s,长上下文 prefill 更是慢。目标是又快又准、上下文尽量大,并且不碰机器上已有的任何服务和数据(共享机器,上面有 gluster、AIGC 服务、一堆 docker 容器)。

这篇文章记录从 0 到上线的完整过程,包括驱动升级、镜像选择、参数调优、DFlash2 投机解码接入,以及后续的 sgLang-router 缓存感知负载均衡。所有内网 IP、主机名等敏感信息均已隐去,用 node1 / node2 代称。

阅读更多
Your browser is out-of-date!

Update your browser to view this website correctly.&npsb;Update my browser now

×