陶善文

0 ? $score . '分' : '10.0分' ?>

快手平台研发部--大规模实时数据流分发平台负责人

访问次数

45

反馈数量

8

关于教练

快手大规模实时数据流分发平台负责人, 10多年架构方面的经验; 10年加入百度, 负责抓取&搜索架构方面的工作; 13年加入小米, 负责小米IoT千万级同时在线的消息系统; 技术上在高性能程序设计、高并发方面有比较丰富的经验

课程

大会议题

快手大规模数据分发平台BTQ架构演进之路

案例背景:
快手推荐服务线上实例众多, 当一个机器学习模型训练完成要传输到线上时, 由于每个线上实例都需要完整的模型, 所以每次传输模型时, 都会带来巨大的流量压力, 耗费大量的机器资源

解决思路:
1. 利用P2P的思想, 每个实例尽量从别的实例上去读取
2. 将系统抽象成MQ系统, 实时化, 并方便用户使用

成果：
系统已在推荐部门模型训练、模型传输、索引传输、商业化物料传输等场景大规模使用

暂无课程排期

架构师

联系教练

您可以将您的需求提交给教练

请先登录

访问次数

45

反馈数量

8

联系教练

您可以将您的需求提交给教练

立即提交需求

相关教练

相关教练