|
|
作者 | gongyouliu
编纂 | gongyouliu
咱们在下面一篇文章中引见了排序算法的一些根本概念和常识点。大家应该曾经十分分明排序算法能够解决甚么问题，能够用在哪些保举场景了。上一章也对排序算法做了一个简略的阐明性引见，从本章开始咱们会花3章的篇幅来引见详细的排序算法的完成原理。本章咱们先引见最简略、最没无机器学习含量的规定战略排序办法。
虽然规定战略算法没有用到繁杂的机器学习模型，次要是基于人对业务的了解来定义的排序办法，但在某些场景（好比没有甚么数据、需求知足一些经营指标等）是须要的一种办法。规定战略排序算法按照不同的业务场景能够有十分多的完成计划，上面我来引见几种十分间接简略的实行计划。详细来讲，咱们会讲授随机打散排序、按序摆列排序、得分归一化排序、婚配用户画像排序、代理算法排序及它们的混合使用的排序等6种规定战略排序算法。
本章的目的是给读者提供一些思绪，大家也能够结合本人公司的详细业务来思考，看是不是有更好、更有业务价值、更有特色的完成计划。
在讲授详细的排序战略以前，咱们先假定咱们曾经有了k个召回后果，分别记为Recall_1、Recall_2、... 、Recall_k，咱们的指标是利用规定战略排序算法来对这k个召回后果进行排序。
3ckecy3utab.jpg
图1：k个召回后果
十一.1 多种召回随机打散
这类排序办法是最简略的。就是将图1中k个召回后果合并，构成一个召回后果的合集，而后利用随机函数将这个并集随机打散，而后从打散的列表中取后面的topN作为终究的排序后果保举给终究的用户，这个进程能够用公式表现如下：
这类完成形式十分简略高效，能够间接在保举web办事端完成，不外集体仍是倡议完成一个排序算子或者排序办事，这样能够跟保举web办事解耦（上面讲到的排序办法倡议都采取相似的处置形式，要末做成一个算子，要末做成一个微办事，上面再也不赘述）。为了让读者能够更直观地舆解这类随机打散的排序计划，上面画一个示用意。
xuqhi4yd504.jpg
图2：随机打散的排序战略
这个排序战略十分简略粗暴。它的劣势是十分简略，每次获取的后果都是纷歧样的，能够提供一定的别致性和多样性，特别合适那种召回后果变动不大的召回场景（好比假如咱们的保举算法是T+1的，各个召回算法在先后两天的召回后果差异不大）。
这个排序算法最大的问题是没有统一性，也就是用户两次关上保举零碎获取的后果可能彻底纷歧样。固然，这个缺陷能够部份解决，能够先将排序后果缓存起来，设定一个缓存过时时间，在缓存过时时间内，每次用户申请保举办事时，从缓存取保举后果，这时候保举后果就统一了。
十一.2 根据某种秩序摆列
这类排序算法先将k种召回后果根据某种次第排定一个优先级，好比优先级摆列如下（
意思是A的优先级大于B
wfhengjm0sc.jpg
排定了优先级后，咱们根据优先级的高下，挨次从
ys1fblkfq1h.jpg
z4tgfxsqn04.jpg
xr2t2z5e5nh.jpg
中选择1个来摆列。第一轮选择好了之后，又开始根据
dft4mqsx1aw.jpg
dbt5s023ql1.jpg
3brks03mt2n.jpg
的程序选择
，直到选择的数量凑足N个就实现了，上面图3即阐明了这个完成的进程。详细各个召回算法怎么排定优先级，能够有得多形式，好比基于业务的教训，基于经营需求，基于召回算法的成果（好比矩阵合成召回的成果好过item-based召回、item-based召回的成果好过抢手召回）等。
hsvmfqbgmo1.jpg
图3：根据某种秩序摆列的排序战略
这类完成计划能够做一些调剂和推行。下面每个召回算法只选择了1个后果进行摆列，其实咱们能够从每个召回算法中选择多个进行排序（能够选择固定数量的，好比每个召回选择2个；也能够选择纷歧样的，好比第一个召回选择3个，第二个召回选择2个等等，详细每个召回选择多少能够基于教训或者业务规定来定）。上面图4就是先从每个召回中选择topM个后果，根据程序拼接起来，当第一轮选择完结后，而后又从第一个召回选择topM个，挨次类推，当凑足了终究需求保举的topN个保举后果就住手（固然不会恰好凑足N个，这时候当第一次超过N个就能住手了）。下面多个召回列表中可能存在某些物品泛起在多个召回中，只有在排序过程当中将反复的剔除掉就行-了。
wrdzmyluc4p.jpg
图4：每个召回算法选择topM，而后拼接获取终究的topN保举后果
其实这个每组取topM的排序办法在理想糊口中是能够找到原型的，咱们的高考录取其实就是这类形式。每个省分的考生的成就根据高下摆列就是一个召回。清华北京大学每一年进行招生它们是怎么做的呢？大家应该都知道清华北京大学在不同省分都有录取名额（固然不同省分名额纷歧样），这个招生进程的思绪跟图4有异曲同工之妙。
个别各种召回算法的成果怎样，咱们是有一定的先验常识的，好比后面说到的矩阵合成召回的成果好过item-based召回，item-based召回的成果好过抢手召回。有了这些先验常识，天然采取这类排序形式是一种不错的选择。虽然排在前面的召回算法的预期成果没有排在后面的召回好，然而它们是能够减少保举的多样性和泛化才能的。
十一.3 召回得分归一化排序
个别来讲，某个召回算法自身是会对召回后果进行排序的，也就是每个召回后果中的物品是有序的，好比矩阵合成召回，每个召回的物品是有预测评分的，根据这个评分是能够给矩阵合成召回的物品根据得分高下排序的，实际召回时就是这么操作的。这个召回得分是能够被咱们用于排序的，上面来说解怎么使用。
假如咱们的k个召回算法都有本人的排序，那末一种可行的综合排序形式是：先在每个召回算法外部将排序得分归一化到0到1之间，这样不同的召回算法的得分是在同一个区间规模（即0到1之间），那末它们之间就是可对比的了。咱们能够将这些物品放在一同根据归一化的得分进行排序（这里存在一种状况，假如某个物品在多个召回算法中泛起，那末就能取它们的归一化得分的均匀值），终究基于这个排序就能选择归一化得分的topN作为终究的排序后果保举给用户。上面图5能够十分直观地阐明这个操作进程。
l1qm5k5xycl.jpg
图5：每个召回算法先基于得分归一化，而后汇总排序取topN作为终究保举后果
详细归一化的办法有得多，大家能够选择min-max归一化、分位数归一化或者正态散布归一化，上面分别简略引见一下这3种归一化的办法：
min-max归一化min-max归一化是经过求得该特点样本的最大值和最小值，采取如下公式来进行归一化，归一化后一切值散布在0-1之间。
s4ijzl0lgnx.jpg
分位数归一化分位数归一化是将该特点一切的值从小到大排序，假定一共有N个样本，某个值x排在第k位，那末咱们用下式来表现x的新值。
u5wjumbruln.jpg
正态散布归一化正态散布归一化是经过求出该特点一切样本值的均值
和规范差
，再采取下式来进行归一化。
jskmvboxhgz.jpg
召回得分归一化排序办法对比简略，有一定的公道性。作者以前在做视频的排行榜保举时就采取了这个办法。咱们先分别计算电影、电视剧、综艺、动漫、少儿等各品种型节目的top100（根据播放量），而后根据本节引见的办法归一化取终究的top100作为综合的抢手保举后果，这个后果中就会包孕各品种型的视频了。
十一.4 婚配用户画像排序
假如咱们的物品是有标签的，那末咱们基于用户行动是能够给用户构建用户兴致画像的，这些物品的标签就能作为用户的兴致画像标签。例如，假如用户看了一些科幻、恐惧、美国的电影，那末就能给该用户打上科幻、恐惧、美国的兴致标签，代表了该用户对科幻、恐惧、美国相干题材的电影感兴致。
用户对每个兴致标签是能够有权重的，这个权重代表的就是用户对该标签的兴致度，怎么计算这个权重，作者曾经在第7章7.2.2.2节“利用用户兴致标签召回”中进行了阐明，读者能够去那篇文章看看，这里再也不赘述。
有了用户的兴致标签，每个物品也是有标签的，那末咱们就能计算每个物品与用户兴致画像的类似得分，而后基于类似得分降序摆列，取topN作为终究的保举后果，这个进程能够很好地用上面的图6来讲明。
i4rlpljd0sm.jpg
图6：基于物品跟用户画像的婚配度排序，而后取topN作为终究保举
详细怎么计算用户U和某个物品W的标签婚配度，咱们简略阐明一下。首先咱们先求出用户标签跟物品标签的交加。假如交加为空，那末它们的类似度为0。假如交加不为空，咱们记交加为T，那末用户U的兴致画像跟物品W的婚配度为
mfhnmsp3wth.jpg
，这里
是用户U的兴致标签t的权重，
是物品W的标签t的权重（假如物品的标签没有权重，那末能够是1）。
下面是基于用户兴致标签计算的用户跟物品的婚配度，假如用户或者物品能够嵌入到某个低维向量空间，那末也能够用向量的类似度（如cosine余弦类似度）来表现用户和物品的类似度。详细怎么嵌入，咱们在第9章9.1.3.2节“共性化召回”中曾经引见了中心思想，这里再也不赘述。
婚配用户画像的排序算法结合了用户的行动，是一种共性化的排序算法，所以是对比公道的一种排序形式。这类排序形式其实就是基于内容的保举排序算法，只有用户有部份操作行动，这类排序算法就能实行。它的缺陷是可能给用户保举的物品局限于用户对比有兴致的种别中，容易发生信息茧房效应。
十一.5 利用代理算法排序
假如咱们有一个代理算法可以对物品进行排序，那末咱们也能够基于这个排序算法来对多个召回后果进行综合排序。这里举一个例子阐明一下：好比咱们保举的物品是文章，假定咱们有一个文章品质的算法，可以基于文章的一些特点（好比标题、长度、外面图片、创作者等级、错别字多少、排版是不是幽美、点击率等特点）来给文章排序，那末这个文章品质算法就能用来为多个召回后果进行排序。假定咱们的代理排序算法为F，那末基于代理算法的排序能够用公式记为：
这类基于物品自身的代理排序算法最大的问题是非共性化的（便是没有包孕用户特点的），所以排在后面的可能纷歧定是婚配用户兴致的。为了让读者有更直观的了解，上面图7阐明了利用代理算法的排序进程。
qlgfxsha1xf.jpg
图7：基于某个代理算法对一切召回后果排序，而后取topN作为终究保举
后面提到文章品质算法也是能够用到用户点击数据的（这些点击数据多是经过爬虫爬取的外网数据），因此排序算法也代表了群体的一种行动偏好品质，所以代理排序算法是有一定迷信性的。
十一.6 几种战略的融会排序
下面咱们讲到了5种可行的排序战略，这些排序战略是能够结合在一同使用的。好比咱们能够先对每个召回列表根据十一.4节引见的办法对每个召回列表进行排序，那末这个排序后的召回列表中排在后面的就是与用户兴致婚配度最高的，而后咱们能够从排序好的召回后果中挨次取1个按序摆列（即下面十一.2中的办法）获取终究的topN保举后果，详细完成计划如上面图8所示。
fhmdcjrwzxh.jpg
图8：先基于用户画像对每个召回排序失掉新的有序列表，而后每个排序后的召回列表选择1个按序摆列
上面咱们再引见一种更繁杂的混合战略。咱们能够先将召回后果分为两组，一组利用后面引见的婚配用户画像排序获取终究的排序后果，咱们记为Recall_P，此外一组咱们能够用代理算法进行排序，排序后的列表咱们记为Recall_k` ，而后对Recall_P和Recall_k`这两组列表，咱们能够采取十一.2节引见的办法从每个列表中拔取topM，而后将他们根据程序拼接起来造成终究的topN保举后果，详细完成进程能够参考上面图9。
jic4d44y3ea.jpg
图9：召回算法先分组，每组用不同排序战略，终究再一次排序
下面只是举了两个混合排序的例子，其它各种可行的混合排序战略大家能够自行尝试。能够说，下面提到的任何两个战略都是能够混合使用的，详细怎么使用需求结合详细场景和业务来实行，这里再也不赘述。
总结
本章咱们引见了5种十分简略的基于规定和战略的排序算法，这几种办法也是能够混合使用的。这5种排序算法的原理十分简略，对比合适在没有太多用户行动数据（好比某个产品刚推入市场，还在拓展用户阶段）的场景下使用。虽然这5个排序办法简略粗暴，然而仍是十分有合用价值的，这些思想读者能够好好掌握。咱们会在接上去的2章引见真实的基于机器学习算法的排序模型，这些办法就是更为迷信无效的排序形式了。
 |
|
注册会员