移动电商搜索个性化技术
移动端搜索流量保持高速增长,移动搜索与桌面搜索互为补充,使得消费者的网购行为得以进一步普及化和深入化。本次演讲主要介绍淘宝搜索技术如何思考移动端 搜索带来的技术挑战,如何来结合移动端设备私有化,使用时间碎片化,输入模式的多样化,交互方式的便捷化等特点来优化移动端搜索,及个性化在移动搜索中的应用。
图1
图1是移动视角的基本结构图。
图2
图2是移动搜索产品形态。
个性化体系结构
个性化搜索面临的挑战有很多:
大数据,稀疏,长尾,噪音:
淘宝上海量的商品,针对个体而言,发生行为的商品有限, 稀疏度在百万分之一,甚至更低。
用户行为模式的挖掘和利用:
网购行为的复杂性,如何准确的描述用户的兴趣和特色,包括长短期兴趣等? People change over time。
冷启动:
新用户,新商品。
多样性与精确性的两难困境:
Interestingness v. relevance ,Need Serendipity
用户界面与用户体验:
个性化体验的可解释性。
系统的挑战性
评估的挑战性
个性化搜索误区:
千人千面并非意味着,去追求单纯个体的个性化体验,个性化搜索是立足于提升整体用户的个性化体验;
Personalization != customization;
勿忘行为建模的基本假设——hypothesis: 接受商品 à 接受他得所有属性;
过度个性化——搜索场景的个性化:“to personalize or not to personalize “,Explore & Exploitation ;
主观性 vs. 客观性——“data driven”,购物行为所表现的个性化特点 != 用户的物理个性化特征。
图3
图3展示了个性化技术的魅力。
图4
图4是鸟瞰个性化体系。
图5
图5为个性化体系框图。Offline:离线模型训练数据收集,过滤, 聚合,特征ID化,利用batch-learning产出nearline环节,online环节所需要的模型。Near-line:
构建于流式计算体系的实时日志解析,行为特征抽取,聚合,实时用户profile预测,实时人群-商品累积行为特征计算,离散化处理;更新在线排序计算依赖的实时字段,UPS中实时userprofile字段,引擎中的商品正排字段;构建基于mini-batch的在线学习模型,增强系统的适应新数据的能力和explore能力; 实时反作弊。Online:各个排序维度模型的在线预测;多个排序因素的在线融合;EE 策略。
个性化体系的移动元素:
查询意图——时间,地点,逛/搜;pull or push。
用户肖像——移动端特色数据;跨屏行为建模,实时肖像特征。
P(满意|query,用户,商品)。
实时个性化。
E&E。
Query/User 意图识别
图6和图7是Query/User 意图识别,
图6
图7
图8
图8为Query 的隐含个性化需求。
个性化数据