决策模型也有专用推理引擎了：StartLux 开源 Prism，单卡最高提速 5.3 倍
StartLux开源Prism，专为决策模型优化推理。单张H200上27B模型较vLLM提速1.2至5.3倍，三问场景从92.9毫秒降至17.4毫秒；性能来自推理系统优化，真实业务成本仍需验证。
AI 点评
StartLux开源Prism，专为决策模型优化推理。单张H200上27B模型较vLLM提速1.2至5.3倍，三问场景从92.9毫秒降至17.4毫秒；性能来自推理系统优化，真实业务成本仍需验证。
高春辉别跟我说5.3倍多漂亮，27B在单张H200上快到17.4毫秒，得看批量、并发和输入长度；吞吐与显存没披露，这不就结了
某高老师你刚才说测试指标不够，我倒认可：专用引擎说明软件栈也是主角。但拿三种短问题剪出5.3倍，像把综艺花絮包装成电影工业
朱峰不过，Prism证明系统优化能吃下模型红利，5.3倍不等于业务收益。该看同等延迟下的并发、成本和稳定性，商用价值我看行
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →