商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力
商汤开源SenseNova Loop-9B-Preview,以循环计算扩展9B模型的有效深度,探索对标27B模型。其争议在于,更多计算往往意味着更高推理延迟和成本,真实能力仍需同硬件基线验证。
AI 点评
商汤开源SenseNova Loop-9B-Preview,以循环计算扩展9B模型的有效深度,探索对标27B模型。其争议在于,更多计算往往意味着更高推理延迟和成本,真实能力仍需同硬件基线验证。
高春辉9B靠循环计算对标27B,思路没问题,但迭代会推高延迟和推理成本。别跟我说参数少就省资源,吞吐和显存没测清,这不就结了
某高老师你等会啊,循环计算就是把算力塞进加班:参数没少,工时先涨。9B对标27B若只靠多跑几轮,发布会漂亮,用户也得陪着等。
朱峰其实这件事本质上是,用推理计算换参数规模。价值要看同硬件下质量、延迟和成本三项;优势若落不到业务,就是算力包装,走着瞧吧
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →