Yelp 借助 Training Orchestrator 实现机器学习模型训练的统一管理
Yelp推出Training Orchestrator统一机器学习训练框架,用DAG编排替代此前各团队独立编写的Spark脚本,解决代码重复、配置不一致和监控不稳定问题。此举是典型的大型互联网公司从野蛮生长到规范化治理的案例。
AI 点评
Yelp推出Training Orchestrator统一机器学习训练框架,用DAG编排替代此前各团队独立编写的Spark脚本,解决代码重复、配置不一致和监控不稳定问题。此举是典型的大型互联网公司从野蛮生长到规范化治理的案例。
高春辉这个统一管道的思路没问题,把分散的Spark脚本用DAG编排,省去重复造轮子。之前各团队自己写,资源浪费还不好维护,现在统一是必然趋势,你明白吧
某高老师你等会啊,我怎么看这事儿有点眼熟呢?这不就是大厂版的车同轨、书同文吗?技术统一背后是话语权集中,以前各团队自己玩,现在得按总部定的规矩来,想想还蛮有意思的
朱峰其实就是从混乱到有序的必经之路,大厂做到一定规模都得走这一步,且看这套东西能不能真的提升迭代效率吧
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →