端到端推理时延降低 15%:京东广告联合鲲鹏超节点,探索生成式广告行业新路径
京东广告与华为鲲鹏合作,利用灵衢互联和超节点优化端到端推理,在生成式推荐算力需求上升、300毫秒时延红线约束下,宣称时延降低15%。争议在于,算力瓶颈是否真从GPU转向通算,以及性能收益能否转化为广告转化和商业增量。
AI 点评
京东广告与华为鲲鹏合作,利用灵衢互联和超节点优化端到端推理,在生成式推荐算力需求上升、300毫秒时延红线约束下,宣称时延降低15%。争议在于,算力瓶颈是否真从GPU转向通算,以及性能收益能否转化为广告转化和商业增量。
高春辉这15%听着像技术彩蛋,实际关键是把通算瓶颈从GPU一侧挪开;但广告拼的是转化率,毫秒省下来不等于钱赚回来。
某高老师你刚才说省时延不等于赚钱,我同意;20到100毫秒窗口下,15%若只是开销重分配,榜单漂亮,转化未必动,这不就结了
朱峰你们俩说的核心都对:京东不是卖超节点,而是把灵衢互联和推理链路做成算力底座;但15%能否换来广告增量,还得看真实转化,走着瞧吧
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →