推荐系统工程架构

news/2024/5/18 14:52:37

推荐系统简介

计算原理

我们把每个用户/视频表示成空间中的一个点。
如果两个点越接近,就认为这个用户对这个视频的喜欢程度越高,反之越低。
用户点赞这个视频就拉近两点,没点赞就拉远两点的距离。这样就组成了整体推荐系统
 

推荐系统流程

 

从海量视频中召回用户感兴趣的视频,经过粗排模型初步筛选用户最感兴趣的几百条视频,分数最高的前几百,然后通过效果更好的精排模型再计算一遍分数,之后应用一些业务规则插,打散,送入系统混排广告,最后返回给用户。
 

名词介绍

候选/物料库

从一堆候选品中选择一些物品给用户,满足用户不明确的需求,候选品的数量很大,百万千万甚至是亿万级别。
候选集是一个庞大的,集海量物品为一体的大仓库。推荐系统的上限受制于候选量级的数量。
 

召回

  • 难点:召回作用的对象是候选集,由于候选量巨大,召回所面临的压力也是巨大的,特别是时延方面
  • 数量级:从千万,亿级别的候选中粗筛,产出万余条数据
  • 作用:缩小候选集,缩小提供给用户的范围,从候选商品中进行粗筛,通过简单的模型筛选出几百到几十件商品
  • 特点:数据量大,模型简单,响应快,使用的特征量少
 

排序

  • 粗排:对召回结果进行排序,topK送入精排。粗排的打分量远远高于精排,大概是1w条。
  • 精排:最纯粹的排序,机器学习模块。目标只有一个,就是找到最准确的预测
  • 重排:业务排序层,机器学习返回的排序不一定完全符合业务要求,还要兼顾结果的多样性,流行度,新鲜度等指标,然后还要插入广告,用来对当前排序好的结果根据业务偏好再次排序。提权,打散,隔离,强插
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hjln.cn/news/28101.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈,一经查实,立即删除!

相关文章

一键自动化博客发布工具,chrome和firfox详细配置

blog-auto-publishing-tools博客自动发布工具现在已经可以同时支持chrome和firefox了.blog-auto-publishing-tools博客自动发布工具现在已经可以同时支持chrome和firefox了。 很多小伙伴可能对于如何进行配置和启动不是很了解,今天带给大家一个详细的保姆教程,只需要跟着我的…

统一场理论公式推导和笔记——part5

三十七,运动电荷的磁场产生引力场 1,匀速直线运动电荷的磁场产生引力场 统一场论核心是变化的引力场可以产生电场,反过来,变化的电磁场也可以产生引力场。==》根据爱因斯坦的广义相对论,变化的电磁场确实可以产生引力场,尽管理论上变化电磁场会产生引力场,但由于电磁场的能…

网络流总结

琐记 这玩意是之前寒假集训时学二分图时被忽悠去学的,今天又回去复习了一下,想写篇总结。其他的后面有时间再来填坑,先咕着。。。最大流最小割定理 内容:任何一个网络的最大流量等于最小割中的边容量之和 这玩意看蓝书解释没咋懂,我自己感性理解了一下,有不对的各位指点一…

win11右键菜单怎么还原经典菜单

1、win+r打开命令界面,输入cmd,如下图,然后回车 2、输入以下代码reg add "HKCU\Software\Classes\CLSID\{86ca1aa0-34aa-4e8b-a509-50c905bae2a2}\InprocServer32" /f /ve3、重启Windows资源管理器生效:taskkill /f /im explorer.exestart explorer.exe然后就看到…

redis实战优化二

参考: 图灵课堂 缓存穿透之布隆过滤器 对于恶意攻击,向服务器请求大量不存在的数据造成的缓存穿透,还可以用布隆过滤器先做一次过滤,对于不存在的数据布隆过滤器一般都能够过滤掉,不让请求再往后端发送。 当布隆过滤器说某个值存在时,这个值可能不存在;当它说不存在时,…

python教程3.3:字符和编码

1、二进制 计算机只能存储和识别二进制,但是人类常用的字母、数字、汉字怎么用计算机存储和识别呢? 人类强行约定一个对应表,把数字、字母和数字进行对应上,这样就可以用二进制表示字母和数字了。 2、ASCII编码 ASCII是美国于1967年创建,只有127个字母和数字(后面扩展128个…

以React16.4为界限,比较生命周期的异同

一、整体流程简介: 新版:旧版:二、比较 通过两个图的对比,可以发现: 1.生命周期都包含创建、更新、销毁; 2.新版本减少了以下三种方法:componentWillMount componentWillReceiveProps componentWillUpdate其实这三个方法仍然存在,只是在前者加上了UNSAFE_前缀,如UNSAFE…

试了下playground-续7

第六回,FUN WITH IMAGES -- ASCII ART 这一阵是算不上难度的了,也不怪,是第二章的第一节,就是换个类型出个接引题。代码大致分析清楚了,argparse是熟库了,在这里使用上也简单,就保留了。就源码做了删减,参数也调整了,像cols选择100而不是80,scale实测0.43-0.45都可,…