阿里巴巴英文论文题目

论文： 论文题目：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》 地址： 这是阿里妈妈发表在2020SIGIR上面的又一篇佳作，让我们来阅读一下这篇论文吧。 在CTR/CVR预估领域中，用户历史行为对CTR/CVR预估的建模是很有指导意义的，用户的历史行为序列中潜藏着用户丰富的”兴趣点“，用户的每一次行为都是某个方面兴趣的一种反应。比如我喜欢各种口红产品、喜欢洗面奶、但是又对某个牌子不是特别感兴趣，基于这些兴趣的驱动，我可能浏览、点击过很多相关领域的内容或商品，那这些历史行为是否对我未来行为的预测有帮助呢，答案是肯定的。正是基于上述这种主观的行为模式，我们才需要对用户的历史行为进行建模，用户行为队列越长，包含的用户兴趣也就越丰富，但是同样也会带来更大的挑战，其实用户的兴趣是发散的多元的，如何从发散多元的用户兴趣中找到真正对当前任务有帮助的兴趣是十分重要的。 在介绍这篇论文之前建议先去看一下阿里的另一篇论文MIMN，也是基于用户长序列进行CTR预估的论文，但是MIMN存在着几个问题，一个是因为，当用户行为序列的长度进一步增加（例如，增加10倍或比十倍更多）时，MIMN无法精确捕获给定特定候选项的用户兴趣。另一个是因为，MIMN不能很好的解决延时和存储这两个瓶颈上的棘手问题，也就是说部署到线上到时候如何才能做到延时跟其他轻量模型相近。 在淘宝中，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？阿里妈妈提出了SIM模型来进一步从用户丰富的长期历史行为队列中挖掘用户有价值的兴趣点，并且提供一种长行为序列线上服务化的可行性方案，接下来就来看看这篇论文吧。 模型总览： SIM分为两个阶段，这两个阶段都有自己的核心部分，文章中将长序列用户行为特征的建模分为了两个模块，即Genral Search Unit（GSU）和Exact Search Unit（ESU），这两部分就是两个阶段的核心模块了。先简单的介绍下这两个模块的作用吧。GSU如图所示，简单理解就是从几百上千的用户长序列中挑选出TopK个跟候选Item最相似的K个Item，类比与推荐系统中的召回模块，先降低长序列物品的长度，在进行后续任务。另一个是ESU，这个模块的作用是对刚刚GSU抽取出来对K个物品进行序列建模，得到一个能代表用户长序列兴趣对向量，并利用这个向量进行后面对排序。 GSU的主要任务是从长度为T的序列中抽取出K个跟候选item相似的item，GSU有两种方式来选取TopK个物品，分别是hard-search 和soft-search。前面也提到了GSU类比于推荐系统中的召回阶段，而在多路召回中，一般也有基于Embedding的召回和基于策略规则的召回，其中hard-search就是基于规则的召回，soft-search就是基于Embedding的召回，下面来详细讲一下这两种方法。 这种方法比较直观而且实施起来比较简单，就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集，举个例子，我在淘宝上历史浏览过很不同种类的商品（比如电子产品、口红、男鞋等等），当候选广告是iphone12时，hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模，用于PCTR预估，而口红、男鞋大概率就不会对这次预估产生影响，通过上面这个例子大家应该能明白这种基于规则和策略的思路。论文中指出hard-search方法使用的是商品类别作为筛选的标准。 这种方法是基于Embedding的抽取方式，从上面的模型图的左侧可以看到整个soft-search的结构。这个部分也是一个子模型，模型的输入是候选Item和长序列，目标是CTR预估，用这种方式来学习候选Item和长序列Item的embedding信息。有了Embedding后，就可以将候选广告embedding和历史行为中的embedding算一个内积相似度，利用近似最近邻检索方法（论文中用的是ALSH）来得到topK相关的候选行为序列。 在这个子model中，DNN的输入是候选item  和Ur的concat，其中Ur：注意，如果用户行为增长到一定程度，则不可能将整个用户行为直接输入模型。 在这种情况下，可以从长序列用户行为中随机采样子序列集，这些行为仍需遵循原始序列的相同分布。 这种方法的缺点就是计算开销比较大，不如基于规则的hard-search方便，优点就是效果应该会更好一些。但是论文中也提到了两种方法在效果上的差异不是特别的大，所以最后基于性能和效果的折中，采用了hard-search这种比较简单的方式。 从模型整体上来看，这部分主要是利用从GSU抽取出来的K个Item得到一个能代表用户长期兴趣的向量，并配合其他特征送的DNN里面做整体的CTR预估任务。 论文中对这K个来自GSU对item是用self-attention进行序列建模的： 其中 为： concat中第一个是原始的embedding，第二个是关于时间的embedding。 根据self-attention的方式，我们又得到了一个向量h(K)。 这里，第二个子model也进行了ctr预估，特征是模型图上面画出来 input，还有个dien，dien前面的文章以及介绍过了，就不再赘述。 最后的loss是： 其中α和β是控制损耗权重的超参数。 在我们的实验中，如果GSU使用软搜索模型，则将α和β都设置为1。具有硬搜索模型的GSU是非参数的，并且α设置为0。 广告推荐系统对线上的计算耗时要求还是比较严格的，因为要保证用户最基本的用户体验。随着用户行为序列的进一步增长，采用传统的方式直接对长序列用户行为进行计算耗时和内存占用会增长的特别快，所以需要有针对性的对线上系统进行一定的升级和改造。文章提到在hard-search和soft-search的选择中，是基于大量的离线实验结果最终决定采用hard-search这种方便快捷有效的方式，同时信息损失也在可以接受的范围内。 一般的线上部署的系统架构图是这样： 为了让SIM能更好的给用户带来低延时的体验，阿里构建了SIM的Online Seving结构： 可以看到对于用户的行为序列，论文采用的是对每个用户采用的是两层索引的结构：key-key-value，第一个key是user_id，第二个key是category ids，value是用户行为序列中属于对应类别的item。用这种方式可以很快的通过这个索引树找到属于统一category的物品。线上A/B Test实验效果： 用户的历史行为对于整个CTR/CVR预估任务越来越重要了，如果不考虑时间和存储，那么把所有的序列输入到模型中作为长期兴趣关键点是可以精确的定位出用户的长期兴趣的，但是由于性能的原因就不得不考虑用特殊的方法对这个长序列进行一次筛选，筛选的K个物品都是跟候选Item相似的物品，能做到裁剪的效果还不会带来CTR预估的损失。在进行筛选过程中还分为了两种方法，但是为了部署到线上，就要考虑性能最好的hard-search方式进行TopK筛选任务，这种方式跟Embedding筛选的效果是差不多的，但是速度比Embedding快，所以采用这种方式。 未来应该还会有更多针对序列推荐的论文，单纯的对长序列阶段还带来一定的兴趣偏差，所以如何有效挖掘用户更丰富行为特征背后的商业价值是需要好好思考的。

1,阿里巴巴本身就是个例子： 阿里巴巴是全球B2B电子商务的著名品牌,是目前全球最大的商务交流社区和网上交易市场。他曾两次被哈佛大学商学院选为MBA案例，在美国学术界掀起研究热潮，两次被美国权威财经杂志《福布斯》选为全球最佳B2B站点之一，多次被相关机构评全球最受欢迎的B2B网站、中国商务类优秀网站、中国百家优秀网站、中国最佳贸易网，被国内外媒体、硅谷和国外风险投资家誉为与Yahoo， Amazon， eBay，AOL比肩的五大互联网商务流派代表之一。其创始人、首席执行官马云也被著名的"世界经济论坛"选为"未来领袖"、被美国亚洲商业协会选为"商业领袖"，并曾多次应邀为全球著名高等学府麻省理工学院、沃顿商学院、哈佛大学讲学，是50年来第一位成为《福布斯》封面人物的中国企业家。 也许是取决于“良好的定位，稳固的结构，优秀的服务”，阿里巴巴如今巳成为全球首家拥有210万商人的电子商务网站，成为全球商人网络推广的首选网站，被商人们评为"最受欢迎的B2B网站"，杰出的成绩使阿里巴巴受到各界人士的关注。WTO首任总干事萨瑟兰出任阿里巴巴顾问，美国商务部、日本经济产业省、欧洲中小企业联合会等政府和民间机构均向本地企业推荐阿里巴巴。 "倾听客户的声音，满足客户的需求"也许是阿里巴巴生存与发展的根基，根据相关的调查显示：阿里巴巴的网上会员近五成是通过口碑相传得知阿里巴巴并使用阿里巴巴；各行业会员通过阿里巴巴商务平台双方达成合作者占总会员比率近五成。 在产品与服务方面，阿里巴巴公司为中国优秀的出口型生产企业提供在全球市场的"中国供应商"专业推广服务。中国供应商是依托世界级的网上贸易社区，顺应国际采购商网上商务运作的趋势，推荐中国优秀的出口商品供应商，获取更多更有价值的国际订单。截至2003年5月底加盟企业达到近3000家。目前已经有70%的被推荐企业已在网上成交，众多类别市场名额已满。2002年3月开始为全球注册会员提供进入诚信商务社区的通行证-"诚信通"服务。阿里巴巴积极倡导诚信电子商务，与邓白氏、ACP、华夏、新华信等国际国内著名的企业资信调查机构合作推出电子商务信用服务，帮助企业建立网上诚信档案，通过认证、评价、记录、检索、反馈等信用体系，提高网上交易的效率和成功的机会。每月赢收以双位数增长。 阿里巴巴以50万元人民币创业资本起步，吸纳了国际资本2500万美元，经过3年的发展，于2001年底实现当月盈利，2002年实现每月收入双位数的增长，实现全年盈利，从而保证对客户的持久服务能力。 下面是对阿里巴巴公司商业的模式进行分析。 阿里巴巴的营运模式是遵循一个循序渐进的过程。首先抓住基础的，然后在实施过程中不断捕捉新出现的收入机会。从最基础的替企业架设站点，到随之而来的网站推广，以及对在线贸易资信的辅助服务，交易本身的订单管理，不断延伸。出色赢利模式符合：赢利的强有力，可持续，可拓展。 1、架设企业站点 很少有企业把它理解为是一项重要的业务，理由在于这是一个高度离散的行业。你可以很从容的获得一个或者几个制作企业站点的机会，但不等于能够获得很多。这里存在收入收集上的困难。有一些公司主营这项业务，它们往往将业务定格在高端客户。阿里巴巴是一个很大的商业社区站点，这就是说它有与许多潜在顾客频繁接触的机会。更重要的是它能顺利的把潜在机会转化为现实收入。阿里巴巴的目标受众每年都要参加许多类似广交会之类的展销会议，这时候阿里巴巴的工作人员就出现了，有一些低成本的推广活动。线上与线下的营业推广相结合，实践证明能有效的收集商业机会。中小企业存在很大的伸缩性，这是说业务流程和业务规模都在迅速的发生变化。有时候它或许会找邻居帮助设计一个主页，这在当时可能已经足够了，但是很快它就有了更高的需求，这就超过了邻居的能力。阿里巴巴则有能力提供从低端到高端所有的站点解决方案。它能在企业的成长过程中获得全部收益。更大的优势在于制作商品交易市场型的站点。阿里巴巴只是替商品交易市场做一个外观主页，然后将其链接在自己的分类目录下。交易市场有了一个站点，实际上这和阿里巴巴的站点是同一个站点，这就提高了被检索的机会。网页设计毕竟是一项倾向于劳动密集型的业务。网站设计其实和开发应用程序没有什么不同，这是说存在国际转包的内在需求，这和印度班加罗尔的故事相同。这也解释阿里巴巴为什么把它的人手更多集中在劳动力成本相对低廉的杭州。国际转包的实现除了需要品牌，还要有对应的机构设置。无疑，阿里巴巴一直就是往这一方向走。 2、站点推广 对于网站的媒体定为一直十分模糊，它应当是广播式的，还是特定用户检索式的？其他从事于企业站点设计的公司存在一个很大的问题，没有对应的推广能力。而网站设计一旦完成，推广是自然需求。网站实际上是另一种媒体，广告收入对大多数网站都很重要。无论一些针对企业的服务是否被称之为广告。广播式的模式容易让人理解，但是逻辑上我们更倾向于检索式的。原因很简单，网站首页的空间是有限的，换句话说注意力本身是一种稀缺资源。一些站点的合适位置已经充满了形式各异的广告，我们忍不住困惑，增长的潜力在那里？如果我们定义为检索式的，这同时就表明了有几乎无限可供销售的广告位置。这好像就是最初网站在股市受到追捧的原因。跟大多数人的认识相反，中小企业存在很强烈的营销愿望。这一愿望没有更多转化为现实的理由是：首先通常营销的费用超过了中小企业可承受的范围。其次以前并不存在相应很好的方式。在阿里巴巴今天的收入中，站点推广的收入占了一半还多。“中国供应商”和“网上有名”。 “中国供应商”面对的是出口型的企业，“网上有名”则针对内销或工厂的出口主要以买断形式进行的那一种。其中的价格依据是，如果某家企业愿意以3万人民币的价格租赁两周的广交会展销摊位，那么它为似乎也会愿意以同样的价格购置一年的在线展销时段。今年这一价格已经上升到4万。对于一个新生事物，某种意义上阿里巴巴要证明服务的有效性。阿里巴巴有一个系统服务的思维。除了在网站上的页面设置，还可以通过“商情快递”邮件杂志，检索上的优先派序。至少它能证明付费的顾客要比免费的客户有更多的机会。有人愿意以6万人民币的价格，以便获得更多的服务内容。 3、诚信通 网络可能是虚拟的，但贸易本身必须是真实的。信用分析是企业的日常工作。这很好解释，网友们在拍卖网站上的交易并不是每一次都那么如意。易趣的统计表明在同通过身份认证但只有少数交易经历的所谓一星级顾客交易中，有6%最终受到了投诉。都一样，企业间交易存在相似的压力，所不同的是企业对此有更高的敏感性。在线贸易一方面体现了采购行为更充份的竞争性，另一方面企业对网络信息本身充满了质疑。“诚信通”作为一项服务不难理解。可以在“诚信通”上出示第三方对其的评估，企业在阿里巴巴的交易记录也有据可循。问题是这项服务本身是否会非常成功。阿里巴巴显然是希望所有的注册会员都使用这项付费的服务，最起码新注册的用户是如此。这个问题的确非常有趣。如果这一预想符合了现实，大多数的企业都购买了“诚信通”，那么意味剩下少数也会购买，即便不购买也不再重要。每个“诚信通”的价格都很便宜，但对网站而言几乎不存在成本。这就是说阿里巴巴的运营业绩将会非常的成功。另一种可能是只有少数企业购买了，这就存在用户流失的问题。类似于阿里巴巴模式的网站今天多如牛毛。阿里巴巴的认识是，首先他们在前期的努力已经吸纳了国际贸易中最活跃的顾客群。另一方面在线交易本身必须实现其严肃性。“如果某一商人在支付最基本的费用上都存在问题，那么他根本就没有资格从事生意本身。”我想这一逻辑应该被认为是正确的。 4、贸易通 贸易通是阿里巴巴网站新推出的一项服务，它的功能主要有以下几项：和百万商人安全、可靠地进行即时在线沟通、互动；结识、管理自己的商业伙伴，开展一对一的在线营销；强大的商务搜索引擎，搜尽天下商机；"服务热线"为诚信通会员即时解答网络贸易疑问,方便享受高质量的在线客户服务。其界面有点类似于常用的聊天工具QQ，非常友好且使用简单。不过，有关“贸易通”的收费一直没有行动起来，但这却是最初也是最重要的愿望。阿里巴巴的定义是从企业的每一次日常交易中抽取佣金，这在前期被舆论认为是不可能的，原因在于B2B贸易存在重复交易，企业通常不会一次就更换一家供应商。这样企业很容易绕开任何中介。这又是一个没有思维，就迅速下判断的例子。当然并不是这样的。“贸易通”可以理解为是一种订单管理软件。我想很多IT评论人都忽略了阿里巴巴这一项服务，实际上它对阿里巴巴未来的潜在影响最大，绝对不能看成电子邮件的豪华版。这里有一个观念上的不同，产品重要的是需求，而不是技术表述。“贸易通”则解决了这所有的问题。而且操作中存在很强的可行性，可以通过短消息捆绑按次计费。这一服务所面临的价格敏感性很小，而且存在一个很大的数量。“贸易通”则延伸了企业软件托管的思路。2， 阿里巴巴电子商务网站Linux应用案例 解决之道阿里巴巴在2003年年初开始启动是数据库升迁项目。3月底引进基于Linux平台的Oracle9i集群数据库(Oracle9iRAC)，4月初开始安装，到4月底便成功上线。新的数据库集群是以Dell 6650为硬件服务器、存储服务器采用Dell/EMC CX200存储阵列、以Red Hat Linux Advanced Server 2.1为操作系统、数据库采用Oracle9i集群数据库，采用三层架构，部署两个节点的集群系统。在从原有系统向新系统迁移数据时，按数据的不同特征进行，不仅能够快速迁移数据，并且大大减少了由于系统迁移而可能造成的停机时间。阿里巴巴数据库项目主管鲁国良先生说：“我们原有系统采用的数据库也是Oracle数据库，只不过它是基于Linux的单机数据库，因此，在数据迁移过程中，几乎没有遇到大问题。由于Oracle9iRAC在节点间信息交换的性能有了很大的改进，使得我们在从原来的单机系统升级到集群系统时，几乎不需要更改应用，新系统得到快速部署，一个月之内就能够上线。”应用效益鲁先生说：“通过采用2个节点的集群系统，我们能够很好地避免在升级Linux系统时可能出现的停机现象。Linux仍在迅速发展之中，其内核技术更新快，为了及时获得Linux更先进的功能，我们需要及时升级Linux内核技术。由于Exodus中的数据库集群采用的是2个节点的集群系统，我们可以先对集群中的一个节点升级其Linux内核，然后再升级另一个节点，在此过程中，系统完全能够正常运行。借助基于Linux的Oracle9i集群数据库(Oracle9iRAC)的强大功能，系统的管理工作变得简单得多，并且能够有效弥补Linux操作系统的一些不足，在降低应用成本的同时，获得强大的性能。”在性能与成本之间获得很好的平衡，全面满足网站的应用需求。采用基于Linux的Oracle9i集群数据库(Oracle9iRAC)作为Exodus的数据库平台，阿里巴巴既能够充分利用Linux平台的低成本优势，同时能够获得Oracle9i数据库强大的性能优势，获得对网站发展至关重要的系统性能、安全性、可靠性和可扩展性。性能提高60%。以基于Linux的Oracle9i集群数据库为动力的“Exodus”投入使用后，成功地把阿里巴巴网站性能提高了60%。系统在投入使用后不久，中国部分地区遭受“非典”袭击，为了尽可能避免相互接触，企业纷纷转向网上交易，作为中国最主要的商业网站之一，阿里巴巴成为广大企业进行交易的平台，日交易从“非典”前的4千~5千笔迅速攀升到6月初的9千~1万2千笔。“Exodus”的及时投入使用，为阿里巴巴从容应对快速增长的交易量提供了强大的动力，帮助阿里巴巴及时把握住新的发展机遇。系统管理简单化。借助Oracle9iRAC先进的Data Guard技术，阿里巴巴能够简化数据库的管理工作。Oracle9i Data Guard能够维护关键数据的实时拷贝，从而能够防止由于各种原因引起的数据丢失。工作区之间强大的转接和转回能力，使得硬件和操作系统的维护更为容易，同时又降低了宕机时间。比如，在过去，当主数据库和备用数据库的网络出现异常时，往往需要采用手工方式复制Archive Log，并应用到备用系统，工作量相当大，现在，这些工作都能够自动完成。大大减少宕机时间。借助基于Linux的Oracle9i集群数据库(Oracle9iRAC)的高可用性，阿里巴巴无论是升级Linux内核还是升级应用，都不需要关闭系统，有效减少了计划内停机时间。同时，集群系统中两个节点互为备份，大幅度减少了意外停机的时间。减少测试环境和实际应用环境的差异，提高系统部署的效率。现在，Linux已成为成长型企业的首选应用开发和测试平台，比如在Linux系统上运行开发数据库，而在其它系统上运行产品数据库，结果是在开发、测试、产品应用平台之间存在着差异。这种差异往往会影响到系统部署时的投入。阿里巴巴通过采用基于Linux的Oracle9i集群数据库(Oracle9iRAC)作为产品数据库，有效地缩小了这些差异，使很多测试工作变得真正有意义，直接用于产品应用平台，从而提高系统的部署效率。为什么选择ORACLE在谈及选择基于Linux的Oracle9i集群数据库的原因时，鲁先生说：“Oracle9i集群数据库在性能、安全性、24x7高可用性、稳定性方面都很好地满足了我们的应用需求，特别是它强大的易扩展性，尤其适合阿里巴巴快速发展的特点。另一方面，Oracle公司对Linux的积极态度和支持力度以及在Linux平台上不断实现的性能突破，坚定了我们采用Linux的信心，使我们既能够满足电子商务网站对性能和安全性的高要求，同时也能够很好地解决了成本控制的问题，这对我们成长型企业来说至关重要。基于Linux的Oracle9i集群数据库使我们能够以较低的成本在Linux平台上获得企业级的性能、可靠性和可扩展性，在Linux平台上运行网站的关键应用系统。其强大的集群能力，使我们能够在以后交易量上升到一定程度需要增加系统容量时，只需简单地增加节点，完全不需要更改应用，我们获得了一个真正按需部署的系统。”未来计划我们将继续关注Oracle在Linux方面的合作以及技术的发展。随着阿里巴巴业务的不断发展，我们将充分利用“Exodus”系统成功应用基于Linux的Oracle9i集群数据库的经验，改善其它应用系统，逐步把这些系统迁移到Oracle平台上。