手机淘宝推荐中的排序学习
周梁:淘宝推荐机器学习技术专家,中国科学院自动化研究所机器学习博士,主要研究工作方向是机器学习、大规模并行算法优化。先后从事过广告CTR预估,MPI机器学习平台搭建,手淘个性化推荐等多方面工作。
排序学习是推荐、搜索、广告的核心问题。在手机淘宝的推荐场景中,受制于展示空间的限制,排序学习显得尤为重要。在淘宝,如何从十亿的商品中,挑选出用户 今天喜欢的商品,也是个巨大的挑战。 本次我们分享排序学习在手机淘宝中的应用,其中包括:解决了哪些问题,遇到了哪些挑战,以及做了哪些改进。
手淘推荐介绍
图1手淘推荐业务全覆盖
用户提升体验,千人千面;商家提供流量,提升转换;平台引导行为,流量分配。
图2手淘推荐系统
Match:基于内容,行为的推荐。场景,社交,人群,个人的长期兴趣,短期行为。
图3排序学习的原因
排序学习分类:PointWise:
PairWise:
ListWise:直接优化整个集合序列,不再做Transform,优化目标NDCG.
业务实例
图4店铺内推荐业务
业务:只可以推荐同店铺商品,可以是相似搭配。目标:CTR.方法:PointWise。
图5模型
样本构造:
模型目标:预测<user,item> ctr,并按照ctr排序。
手机埋点的困难:曝光,点击收集,Native 版本,H5 版本。
正负样本处理:
1. 点击/曝光PV
2. (点击 + 折算成交)/曝光PV
3. (点击 + 折算的成交)/(有效点击以上PV截断)
4. (点击 + 折算的成交)/(泊松采样的虚拟PV)
特征设计
ID类特征,User、Item 、Context基本特征,移动特定场景相关特征:设备ID VS 用户ID;城市区域特征;手机型号特征,PC & Mobile 特征融合。
每个特征权重反映该特征在数据中的统计意义,方便进行特征组合和模型debug,比较方便引入在线学习。
特征工程
图6年龄匹配