b t 7086|软硬结合:快手推荐系统国内率先基于持久内存应用异构存储

软硬结合:快手推荐系统国内率先基于持久内存应用异构存储

2020年06月03日 22:51:33

如何在承载高峰期每秒数十万并发调用量的同时,从上百亿级别的短视频库中,通过千亿参数级别的深度模型将内容展现给用户?快手推荐团队设计了基于异构设备的先进推荐系统,其中遇到问题的复杂程度极富挑战。
目前快手推荐系统采用的是计算与存储分离的架构模式(如下图所示)。推荐系统中的存储型服务主要是用来存储和实时更新上亿规模的用户画像、数十亿规模的短视频特征、以及千亿规模的排序模型参数。计算型服务主要进行的是视频召回检索、推荐模型预估和推荐策略计算。b t 7086快手联合英特尔,国内业界率先落地采用英特尔 傲腾 数据中心级持久内存的异构存储到推荐系统软硬结合:快手推荐系统国内率先基于持久内存应用异构存储 【基于持久性内存的KV系统设计示意图】,注:AEP指代英特尔 傲腾 数据中心级持久内存b t 7086· 使用无锁技术,减少临界区中对持久内存的访问来提高性能。
目前快手推荐系统采用的是计算与存储分离的架构模式(如下图所示)。推荐系统中的存储型服务主要是用来存储和实时更新上亿规模的用户画像、数十亿规模的短视频特征、以及千亿规模的排序模型参数。计算型服务主要进行的是视频召回检索、推荐模型预估和推荐策略计算。软硬结合:快手推荐系统国内率先基于持久内存应用异构存储 持久内存是介于DRAM和SSD间的新存储层级,不仅能提供接近DRAM的延迟,同时还提供持久化和更大容量的存储空间,这为推荐系统中不同场景的可行性分析和架构设计提供了思路。
该设计主要通过为KV存储增加MemPool组件,针对不同访问类型来决定系统是访问DRAM缓存,还是直接读取持久内存。比如说,在推荐模型预估的参数服务器这个场景中,由于模型中神经网络大小与Embedding Table相比很小,所以神经网络也会被MemPool直接分配进入DRAM来提高预估的性能。b t 7086· 使用无锁技术,减少临界区中对持久内存的访问来提高性能。软硬结合:快手推荐系统国内率先基于持久内存应用异构存储

相关推荐

最新发布

网友热搜


文化|资讯|娱乐|教育|时尚
风水|神马|便民|社保|户口