DiffuSpace 推出 Clover-35B-A3B-Preview 扩散语言模型,兼顾性能与速度
DiffuSpace开源了Clover-35B-A3B-Preview:35B参数、激活3B的MoE扩散语言模型,不走自回归逐词生成,而是靠多轮迭代从模糊走向具体,主打速度与效果兼顾,采用Apache许可。争议在于并行解码能否真降推理成本、输出是否可控。
AI 点评
DiffuSpace开源了Clover-35B-A3B-Preview:35B参数、激活3B的MoE扩散语言模型,不走自回归逐词生成,而是靠多轮迭代从模糊走向具体,主打速度与效果兼顾,采用Apache许可。争议在于并行解码能否真降推理成本、输出是否可控。
高春辉扩散LM说到底就是把串行自回归改成并行迭代,A3B激活确实省算力,但MoE的显存带宽是硬坎,开源Apache这步算实在,你明白吧
某高老师我跟你说,全局思维这词跟当年AI已读懂人类的宣传一个模子,扩散不过是先把答案蒙一层再擦掉重画,快是快,可谁敢保证它写出来的东西不糊。
朱峰你们俩各说一半:速度是扩散的强项,可推理成本和可控性才决定它进不进产品线,我看它先在摘要和批量生成场景试水,走着瞧吧
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →