推荐系统的终极优化目标应包括两个维度:一个维度是用户体验的优化,另一个维度是满足公司的商业利益。对一个健康的商业模式来说,这两个维度应该是和谐统一的。例如YouTube的用户体验和公司利益(时长越长广告曝光越多)在“观看时长”这一点上达成了一致。
下图是推荐系统的技术架构示意图。其中数据部分为融合了数据离线批处理、实时流处理的数据流框架;算法和模型部分则为集训练(training)、评估(evaluation)、部署(deployment)、线上推断(online inference)为一体的模型框架。
推荐系统的进化之路
幸运的是,我们开始做这项工作时,作为用户画像组,我们有着丰富的用户画像。
我们使用线上的实时特征包括拖寄物、上下文、流向等。
第二版,我们增加了redis的历史购买。
再后来,因为画像数据太多,我们分析了之后,对用户画像(交叉)进行了客群分析,使用新客群作为分类特征。
再后来,增加了再次购买率特征,使点击率增加了1%
再后来,为了解决长尾,我们将高频与长尾分开,max(高频)低于0.5时,进入长尾规则判断,类似冷启动阶段,使用基于矩阵分解的协同过滤。
再后来,加入组合推荐,apriori分析,概率模型
再后来,缺失走兜底规则过多,包装服务过多
再后来,准时保(流向/拖寄物符合)推荐过多,调整准时保位置,降低判断位置