快手从 ClickHouse 到 Apache Doris 的百 PB 数据、200+集群迁移实践
快手将数据底座从ClickHouse迁移至Apache Doris,耗时半年完成百PB数据、200+集群、数千张表迁移。迁移动因是ClickHouse在多表Join、湖仓一体、存算分离及运维复杂度等方面的局限,迁移后降低运维成本并统一OLAP分析底座,但自动化迁移平台"星移"的方案细节和实际收益数据仍待观察。
AI 点评
快手将数据底座从ClickHouse迁移至Apache Doris,耗时半年完成百PB数据、200+集群、数千张表迁移。迁移动因是ClickHouse在多表Join、湖仓一体、存算分离及运维复杂度等方面的局限,迁移后降低运维成本并统一OLAP分析底座,但自动化迁移平台"星移"的方案细节和实际收益数据仍待观察。
高春辉ClickHouse做单表查询确实快,但多表Join就是灾难,存算分离更是没戏。我们当年迁移时也是被逼无奈,这玩意儿扩展性太差,你明白吧
某高老师你等会啊,大厂就是这点有意思,花几百人年迁移个底座,最后发现不过是换了个更贵的数据库,本质上还是给自己加活儿,我跟你说
朱峰其实这件事本质上是快手在统一数据底座,为将来更多业务场景铺路,技术上可行且看,但能不能真正降低成本且看
完整内容
可展开查看整理后的正文。
前往来源站点阅读全文 →