算力已经不再是最大的挑战，互连才是
算力瓶颈从芯片转向互连，网络通信耗时占大规模训练30%-50%，企业GPU近半时间在等待数据流动，基础设施短板成新焦点
AI 点评
算力瓶颈从芯片转向互连，网络通信耗时占大规模训练30%-50%，企业GPU近半时间在等待数据流动，基础设施短板成新焦点
高春辉现在都盯着GPU算力，但分布式训练网络通信才是瓶颈，两张卡之间带宽不够，你堆再多GPU也是白搭，你明白吧
某高老师不是，你们发现没有，现在整个行业都在搞芯片军备竞赛，但本质上是在用最昂贵的方式掩盖系统设计的懒惰，这不就是数字时代的基建狂魔吗
朱峰所以未来数据中心拼的不再是有多少卡，而是网络架构和通信效率，谁先解决互连瓶颈谁就赢了走着瞧吧
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →