参考文献可以在百度学术中找到。 毕业论文参考文献规范格式一、参考文献的类型参考文献（即引文出处）的类型以单字母方式标识，具体如下：M——专著 C——论文集 N——报纸文章J——期刊文章 D——学位论文 R——报告对于不属于上述的文献类型，采用字母“Z”标识。对于英文参考文献，还应注意以下两点：①作者姓名采用“姓在前名在后”原则，具体格式是： 姓，名字的首字母. 如： Malcolm Richard Cowley 应为：Cowley, .，如果有两位作者，第一位作者方式不变，&之后第二位作者名字的首字母放在前面，姓放在后面，如：Frank Norris 与Irving Gordon应为：Norris, F. & .；②书名、报刊名使用斜体字，如：Mastering English Literature，English Weekly。二、参考文献的格式及举例1.期刊类[格式][序号]作者.篇名[J].刊名，出版年份，卷号（期号）：起止页码.[举例][1] 王海粟.浅议会计信息披露模式[J].财政研究，2004,21(1)：56-58.[2] 夏鲁惠.高等学校毕业论文教学情况调研报告[J].高等理科教育，2004(1):46-52.[3] Heider, . The structure of color space in naming and memory of two languages [J]. Foreign Language Teaching and Research, 1999, (3): 62 – .专著类[格式][序号]作者.书名[M].出版地：出版社，出版年份：起止页码.[举例][4] 葛家澍，林志军.现代西方财务会计理论[M].厦门：厦门大学出版社，2001：42.[5] Gill, R. Mastering English Literature [M]. London: Macmillan, 1985: .报纸类[格式][序号]作者.篇名[N].报纸名，出版日期（版次）.[举例][6] 李大伦.经济全球化的重要性[N]. 光明日报，1998-12-27(3).[7] French, W. Between Silences: A Voice from China[N]. Atlantic Weekly, 1987-8-15(33).4.论文集[格式][序号]作者.篇名[C].出版地：出版者，出版年份：起始页码.[举例][8] 伍蠡甫.西方文论选[C]. 上海：上海译文出版社，1979：12-17.[9] Spivak,G. “Can the Subaltern Speak?”[A]. In & L. Grossberg(eds.). Victory in Limbo: Imigism [C]. Urbana: University of Illinois Press, 1988, .[10] Almarza, . Student foreign language teacher’s knowledge growth [A]. In and (eds.). Teacher Learning in Language Teaching [C]. New York: Cambridge University Press. 1996. .学位论文[格式][序号]作者.篇名[D].出版地：保存者，出版年份：起始页码.[举例][11] 张筑生.微分半动力系统的不变集[D].北京：北京大学数学系数学研究所, 1983：.研究报告[格式][序号]作者.篇名[R].出版地：出版者，出版年份：起始页码.[举例][12] 冯西桥.核反应堆压力管道与压力容器的LBB分析[R].北京：清华大学核能技术设计研究院, 1997：.条例[格式][序号]颁布单位.条例名称.发布日期[举例][15] 中华人民共和国科学技术委员会.科学技术期刊管理办法[Z].1991—06—058.译著[格式][序号]原著作者. 书名[M].译者，译.出版地：出版社，出版年份：起止页码.三、注释注释是对论文正文中某一特定内容的进一步解释或补充说明。注释前面用圈码①、②、③等标识。四、参考文献参考文献与文中注（王小龙，2005）对应。标号在标点符号内。多个都需要标注出来，而不是1-6等等 ，并列写出来。求采纳为满意回答。
论文的参考文献写法如下：
一、[序号]期刊作者。题名[J]。刊名。出版年，卷：起止页码。
二、[序号]专著作者。书名[M]。版次。出版地：出版社，出版年∶起止页码。
三、[序号]论文集作者。题名〔C〕。编者。论文集名。出版地∶出版社，出版年∶起止页码。
论文的参考文献注意事项：
1、参考文献要以序号的形式出现在正文中和文末，且序号要保持一致。序号以在文中出现的前后为序。
2、如果某文献在文中数次被参考，则几处序号要保持相同，只是页码有变化。在文末只列出该参考文献一次即可，不必多次罗列。
3、每一参考文献的所有要素必须齐全，不可残缺，具体包括：主要责任者；文献题名；文献类型及截体类型标识（如专著M、论文集C、报纸文章N、期刊文章J、学位论文D、报告R、专利P等）。
参考文献作用：
1、研究基础
参考文献可以反映出论文的真实性和研究依据，也反映出改论文的起点。我们论文中的研究都是在过去的基础上进行的，这也表明了自己论文中的研究是有价值水平和依据的。
2、研究区别
标注参考文献也是为了把前人的成果区分开来。这能表明论文的研究成果是自己写的，虽然引用了前人的观点、数据或其他资料。 但是标注出参考文献不仅能体现出自己的研究能力，也能体现自己的创新和价值。
以上内容参考：百度百科--参考文献
基于汽车供应链战略的第三方物流模式研究【摘要】随着经济全球化的愈演愈烈和合作竞争时代的到来，竞争无国界与企业相互渗透的趋势越来越明显，市场竞争实质上已不是单个企业之间的较量，而是供应链与供应链之间的竞争。面对日益激烈的竞争环境，制造企业越来越感到“专注于核心竞争力”的必要性和迫切性，同时基于资源、成本和服务等方面的考虑，物流服务外包需求日趋强烈，第三方物流（Thirdpartylogistics，TPL）得到长足发展，如何使供应链与第三方物流关系获得成功已经成为实业界和学术界共同关注的研究领域。论文通过文献综述和对汽车物流的分析，提出了基于汽车供应链战略的第三方物流模式研究这一重要研究问题，阐述了汽车供应链战略的类别，主要包括精细供应链战略、敏捷供应链战略与混合供应链战略，比较分析了三种战略的特征；重点讨论了供应链与第三方物流的关系以及汽车供应链战略对第三方物流模式的内在要求。在此基础上，建立了汽车供应链战略与第三方物流模式的匹配模型，并着重分析了精细物流、敏捷物流和定制物流三种物流模式的内涵、结构特征及其实施策略。最后，对三种物流模式从战略匹配、管理理念、竞争战略等六个方面进行了比较分析。论文的创新点在于，在汽车供应链战略特点分析、供应链与第三方物流关系讨论的基础上，构建了汽车供应链战略与第三方物流的匹配模型，设计了三种物流模式的实施策略，从战略的角度为供应链管理者选择第三方物流提供商提供了一定的参考与借鉴。关键词：供应链战略第三方物流匹配模型精细物流敏捷物流定制物流你好，我有相关论文资料（博士硕士论文、期刊论文等）可以对你提供相关帮助，需要的话请加我，761399457（抠q），谢谢。
你好啊.请问下.你的论文写完了吗?还有没有底呀.发一份给我好吗?我现在也在写这个题目,到处找不到资料,可否借参考下呢?我的邮箱是
提供一些“传统储运如何向现代物流转移”论文的参考文献，供参考。[1] 方骥. 物流与商流融合:颇具活力的现代物流业态——兼谈传统储运业的发展趋向[J]. 中国储运, 2007,(02) . [2] 谭建华. 整合为手段 提升为目标——探索传统储运企业向现代物流企业的转变[J]. 商品储运与养护, 2006,(01) . [3] 李宪春. 传统储运如何向现代物流转化[J]. 北京物资流通, 2006,(04) . [4] 华细玲,吴倩. 传统储运业向现代物流业转型的几点思考[J]. 价格月刊, 2006,(03) . [5] 尹红璋,兰兴旺,魏正伟. 论传统储运业向现代物流的转化[J]. 物流技术, 2004,(04) . [6] 杨华. 传统储运怎样向现代物流演变[J]. 中国储运, 2005,(02) . [7] 林琳,林海北. 传统储运企业的“二次创业”[J]. 商场现代化, 2007,(07) . [8] 慕寒. 传统储运企业的中国式转型[J]. 市场周刊(新物流), 2007,(10) . [9] 单正兵. 传统仓储业与现代物流[J]. 市场周刊(新物流), 2007,(01) . [10] 王奕俊. 传统储运企业的转型之路[J]. 市场周刊(新物流), 2006,(05) . [11] 刘飞燕. 传统物流企业转型的实施问题探讨[J]. 成组技术与生产现代化, 2006,(03) . [12] 单正兵. 传统仓储业与现代物流[J]. 市场周刊(新物流), 2007,(01) . [13]现代物流与传统储运的区别[J]. 水路运输文摘, 2006,(Z1) . [14] 梁娟. 传统储运企业向现代物流企业转型的策略研究——基于资源整合和核心能力[J]. 物流科技, 2006,(03) . [15] 李兰冰,刘秉镰. 传统交通运输企业如何向现代物流企业转型[J]. 物流技术, 2005,(04) . [16] 刘颖. 交通运输企业向第三方物流转型的战略思考[J]. 世界海运, 2003,(03) . [17] 程欣. 论传统仓储企业如何向现代物流企业转变[J]. 中国储运, 2007,(09) .[18] 段李杰. 国有物流企业向现代物流的战略转型的思考[J]. 湖北经济学院学报(人文社会科学版), 2007,(12) .
传统聚落文化浅析【导读】本文通过分析传统民居现状，提出聚落生态文化的概念，并运用生态学、景观学、建筑物理学等相关理论对其基本特征、形成机制、景观价值、空间特性及社会和经济效益等作了进一步分析，指出聚落文化发展与技术结合的重要性，人聚环境规划、开发、利用、保护的设计原则及相关对策，对今天日益升温的民居聚落生态文化旅游开发、建设及可持续发展有积极的指导意义。1 前言大量的研究成果表明，传统民居聚落及其相关的形态、景观、文化有极高的自然、景观、历史、人文及经济价值，近年来随着社会的发展，在经济、旅游开发活动及现代文明的冲击下，某些聚落独特的文化形态正在逐步丧失，如何在市场经济条件下，科学技术日益发达的今天去合理规划、开发、利用、建设这些宝贵的资源，是值得人们深思的问题。2 聚落生态文化的概念传统民居聚落因地域、气候、民族、文化、经济等不同而千差万别，目前能够保存下来的原因及机制却有着共同之处，相对于现代社会而言，其区位相对偏远，经济水平相对落后，交通信息不够发达，受现代文明冲击较少，这样的居住形态是自然、人及人聚环境相互选择形成的。特定的聚落文化也是依附于这种特定的形态，在长期的选择过程中，自然与人文及建筑空间形态不断融合、进化，形成相互依存、共生共荣的生态体，有着较为独立的系统特征及生态运行机制，体现出特定的文化特质及场所精神。综合各种因素，这种人聚环境已演变成为一种居住文化形态，且具备生态特征，在此，我们称之为“聚落生态文化”。3 聚落生态文化分析聚落生态文化基本特征聚落生态文化在生成及发展过程中存在系统和生态两个方面的特征。(1)系统特征人类聚居点本身就是由各种自然及人文场所构成的系统，由此衍生的文化生态体也同样具备系统的特征，这种系统本身是自律、调和、均衡的，在没有特别外力作用下，它将保持这种文化形态持续发展，这也是现在许多文化聚落能够存在的主要原因。(2)生态特征传统村镇聚居点在长期的形成与发展过程中体现出明显的生态特点，它们象一簇簇植物一样，在多种人文及自然条件制约下选择了合适的地点，并由小而大的向前发展，形成今天这样的布局规模及形态，它经历了相当长的历史时期，因此其中记载和蕴含了历史、人文的沧桑及人类改造自然、利用自然的斗争历程，这也是现存聚落空间魅力所在。具体表现在以下几个方面：①与自然共生——聚落空间文化所体现出来的不同特征与所处自然环境特点有直接联系，依赖于自然而生存，人类的局部活动也影响自然环境形态的改变，在缓慢发展过程中，以人为活动主体的聚落与自然空间磨合成一个有机的整体，成为一个局部的自然——人类——生态系统，即居住生态体。②生态链的完整是聚落空间文化形态存在的基础。人及聚落与自然空间存在着多个方面的互动。自然环境为人类提供生存的空间及物质条件，人类也在自然中塑造着符合于自然规律的居住模式和文化，并赋入自然新的改造与内容，相对于自然生态系统而言，人类是其中的一个消费者，因此适度开发及改造自然是维持这一生态链平衡的重要法则，当这一活动在大自然的自我调节范围内时，自然对人类是宽容和仁慈的，而受惠于自然的人类也有情于自然，这种和谐的关系，是中国传统“天人合一”思想在村镇聚落发展中的具体体现。保持聚落文化的相对稳定性和持续性也是人类居住文化链节中一个重要的方面，这一生态文化因子的存在，才使人类居住文化生态得以平衡，若采用破坏和掠夺式的开发利用，则无异于人类过度使用地球有限资源所带来的后果，在不久的将来，我们将永久丧失这一文化资源。③聚落文化的生长机制体现出明显的生态学特征，人类对历史文化的崇拜来自于它们漫长岁月所形成的深厚积沉，由于我们无法洞悉其形成的 论文题目：根据课堂所学内容，结合个人兴趣，选择以下任一研究方向，开展课后继续学习，并拟写相关论文：1.居住空间理论探索；2.传统民居聚落文化研究；3.优秀传统民居聚落的保护利用策划探讨（可结合相关工程实践）。基本要求：1. 在课堂与课后学习的基础上，要求有新发现和新见解，避免他人观点的罗列、拼凑，不可存在剽窃和抄袭现象。2. 务求论点明确，论证严谨，论据充实、可靠，文字精练，字数以 3000－6000字为宜。3. 符合科技论文写作规范，应附中文提要(150—240字)及关键词(3—5个)；论文的标题层次采用阿拉伯数字分级编号，如：一级标题1，二级标题1．1，三级标题1．1．1。层次逻辑关系必须清晰。4. 行文严谨，参考文献、资料和数据要认真核对，引用他人成果要注明出处，参考文献格式规范（作者．文题/书名．期刊/出版地：出版社．发表/出版时间：页码．）。5.本页为结课论文统一封皮。6. 课程论文提交：2009年1月4日之前。
参考文献是旅游 文化 论文的一部分 ，正确地标注以及合理地引用参考文献不仅关系到论文的质量 ，也在一定程度上反映了作者的学术态度。下面是我带来的关于2017年旅游文化论文参考文献的内容，欢迎阅读参考!
[1] 李瑞. 城市旅游意象及其构成要素分析[J]. 西北大学学报(自然科学版). 2004(04)
[2] 查君. 旅游意象规划[J]. 中国园林. 2004(06)
[3] 宋振春，陈方英. 两种类型旅游节事居民感知的比较研究--对泰安泰山国际登山节和东岳庙会的问卷调查[J]. 旅游学刊. 2008(12)
[4] 张微. 试论博物馆作为旅游资源在发展文化产业中的地位和作用--以长春伪满皇宫博物院为例[J]. 博物馆研究. 2011(03)
[5] 方世敏，杨静. 国内旅游演艺研究综述[J]. 旅游论坛. 2011(04
[6] 申葆嘉. 国外旅游研究进展(连载之一)[J]. 旅游学刊. 1996(01)
[7] 付冰，周申立. 我国影视旅游发展与规划探析[J]. 北京第二外国语学院学报. 2005(03)
[8] 李蕾蕾. 旅游点形象定位初探──兼析深圳景点旅游形象[J]. 旅游学刊. 1995(03)
[9] 庄志民. 旅游意象塑造的操作指向论析--旅游文化设计探索[J]. 旅游科学. 2008(05)
[10] 李蕾蕾，张晗，卢嘉杰，文俊，王玺瑞. 旅游表演的文化产业生产模式：深圳华侨城主题公园个案研究[J]. 旅游科学. 2005(06)
[11] 邹积艺，陈谨. 旅游节事项目管理模式初探[J]. 旅游科学. 2005(06)
[12] 庄志民. 如何进行旅游文化资本运作值得深入研究[J]. 旅游学刊. 2005(05)
[13] 黄耀丽，聂磊，李凡. 文化旅游与文化产业互动的研究--以佛山文化旅游资源开发为例[J]. 热带地理. 2003(04)
[14] 毛端谦，张捷，包浩生. 旅游目的地映象的对应分析--以江西庐山、龙虎山、三清山、井冈山为例[J]. 长江流域资源与环境. 2003(01))
[15] 黎洁，李垣. 历史文化名城文化产业与旅游产业整合创新的目标模式研究--以云南大理为例[J]. 思想战线. 2001(01)
[1] 马勇，陈慧英. 旅游文化产业竞争力综合评价指标体系构建研究[J]. 中南林业科技大学学报(社会科学版). 2012(01)
[2] 曾亚玲. 博物馆旅游与文化创意产业的融合发展[J]. 中国商贸. 2012(04)
[3] 王九位. 数字时代旅游目的地信息共享研究[D]. 武汉大学 2010
[4] 吴普，葛全胜，席建超，刘浩龙. 影视旅游形成、发展机制研究--以山西乔家大院为例[J]. 旅游学刊. 2007(07)
[5] 庄志民. 论旅游意象属性及其构成[J]. 旅游科学. 2007(03)
[6] 钟晟，张军. 皖南古村落和谐文化主题开发[J]. 华东经济管理. 2007(06)
[7] 杨卫武，陈慧莎. 论旅游产业与文化产业的融合--以上海市为例[J]. 青岛酒店管理职业技术学院学报. 2012(01)
[8] 徐仁立. 旅游产业与文化产业融合发展的思考[J]. 宏观经济管理. 2012(01)
[9] 张薇，钟晟，张晓燕. 1998~2007年全球旅游研究进展--基于SCIES、SCI和A&HCI三大检索文献计量分析[J]. 旅游学刊. 2009(12)
[10] 赵勇. 亲和性城市公共游憩空间的系统建构研究[D]. 武汉大学 2011
[11] 张中华，王岚，张沛. 国外地方理论应用旅游意象研究的空间解构[J]. 现代城市研究. 2009(05)
[12] 李海霞，孙厚琴. 基于城市旅游意象的旅游城市标志物分析[J]. 社会科学家. 2009(04)
[13] 庄志民. 宁波东钱湖旅游度假区旅游意象定位研究--旅游文化设计探索系列[J]. 旅游科学. 2010(03)
[14] 凌莉萍，吴殿廷. 国内外影视旅游研究进展及启示[J]. 旅游学刊. 2010(03)
[15] 韩震. 论国家认同、民族认同及文化认同--一种基于历史哲学的分析与思考[J]. 北京师范大学学报(社会科学版). 2010(01)
[1] 段卫国. 南京下关区城市公共休闲设施规划研究[D]. 南京工业大学 2013
[2] 应吉. 社区公共服务设施布局策略研究[D]. 南京工业大学 2012
[3] 应维佳. 高层住宅景观单方造价影响因素研究[D]. 浙江大学 2014
[4] 夏凤连. 中国传统装饰纹样在平面设计中的应用研究[D]. 湖南科技大学 2013
[5] 王硕,曾克峰,刘超. 甘肃省A级景区旅游空间结构分析[J]. 国土资源科技管理. 2013(04)
[6] 银丁山. 视觉识别系统设计在洪江古商城旅游景区开发中的应用研究[D]. 湖南科技大学 2014
[7] 王钰. 大型体育设施与城市空间发展研究[D]. 南京工业大学 2012
[8] 谭玲玲. 意象符号转化视域下的红色文化产品设计研究[D]. 湖南科技大学 2014
[9] 杨勇. 现代城市公共设施候车亭的情感化设计研究[D]. 湖南科技大学 2014
[10] 彭元. 中国书画在服装设计中的运用与创新[D]. 湖南科技大学 2013
[11] 胡哲. 民族文化旅游景区商业步行街开放空间设计研究[D]. 昆明理工大学 2014
[12] 钱忱. 产权式休闲养老社区设计研究[D]. 南京工业大学 2012
[13] 王淑新,王学定. 供需视角下的中国旅游经济发展--一个面板数据的实证分析[J]. 经济问题探索. 2014(01)
[14] 谭志喜,孙根年. 基于“点-轴”理论的湖北省“A”型旅游空间结构分析[J]. 湖北社会科学. 2013(12)
[15] 王兢. 南京城乡统筹工作的思考和优化[D]. 南京工业大学 2012
猜你喜欢：
1. 浅谈旅游文化论文
2. 旅游文化方面的论文
3. 旅游文化的论文免费例文
4. 关于旅游文化的相关论文
5. 有关旅游文化的论文
6. 中国旅游文化论文范文
先题目，后摘要，然后是关键词，再是正文，再是结语，最后是参考文献。
《英语学术论文写作》共分六章，每章三单元。每章主要围绕三条主线展开。第一条主线是论文写作的主要步骤，第二条主线是论文写作相关事项，第三条主线是论述方法。论文写作的主要步骤包括选题、材料的收集与评估、列出提纲、论文写作、编写参考文献以及摘要写作。论文写作相关事项包括学术论文的特征、流程、文章的衔接与连贯、文体特点、图表的使用、写作规范、参考文献的标注以及致谢等。至于论述方法，则主要介绍定义法、因果法、比较与对照法、议论法以及记叙法等。附录包括三篇范文以及一个常用格式指南。参考答案则与各章练习相匹配，供读者参考。
论文文献的格式编辑，你可以参照别人的文献编辑，那样的话会比较标准一些。
建议使用第三方软件作为插入，现在有很多，很方便中文参考文献设置推荐：CNKI英文参考文献设置推荐：Mendely
论文： 题目:《A Contextualized Temporal Attention Mechanism for Sequential Recommendation》 地址： 序列推荐任务很少使用时间和上下文信息对h(h就是rnn，gru等序列建模网络输出的状态)进行加权，www这篇论文融合了上下文和时间信息的加权信号，一起看看吧，虽然笔者觉得这篇论文非常笨重。。 这篇论文的背景其实可以放在sequence recommendation任务中去看待，根据历史记录中用户的先后行为来预测用户的偏好对于现代推荐系统而言具有挑战性且至关重要。现有的大多数序列推荐算法都将重点放在顺序动作之间的传递结构上，但是在对历史事件对当前预测的影响进行建模时，很大程度上会忽略时间和上下文信息。 论文认为，过去事件对用户当前动作的影响应随时间推移以及在不同背景下发生变化。因此，我们提出了一个基于上下文和时间的注意机制，该机制可以学会权衡历史行为对行为的影响，不仅影响行为是什么，而且还影响行为发生的时间和方式。更具体地说，为了动态地校准自注意机制的相对输入依存关系，我们设计了多个参数化的核函数来学习各种时间动态，然后使用上下文信息来确定对每个输入遵循哪些weight kernel函数。 上面的说法可能有点晦涩难懂，下面结合一张图来描述一下以上图中所示的在线购物场景为例：系统获得了一系列用户行为记录，并且需要推荐下一组商品。 我们应该注意，在此场景中，我们假设这些交互行为不是彼此独立的， 这更好地反映了推荐系统只能访问脱机数据和部分用户行为记录的情况。好了，接着看上图中的场景，用户在过去的一段时间内点击来网球拍，手机，运动鞋，智能手环，然后在昨天一直在浏览手机，那么这个时候我们需要预估用户的下一次点击，这个时候的用户正想买一个手表，那么这个时候系统是给用户推荐运动手表呢，还是推荐电子手表呢，因为用户过去的浏览有运动类的物品和智能设备的物品。 按照时间的分段性来看：长期的历史记录表明用户对购物体育相关产品感兴趣。 现在，用户正在寻找手表，该系统可以推荐一些运动手表。 从本质上讲，长期的用户历史记录通常可能会携带稀少但至关重要的用户偏好信息，影响着现在的意图，而最近的交互操作应该会更能代表用户在将来的意图。 按上下文细分：由于用户仔细浏览几个智能手机（比平均时间间隔短得多的时间间隔），因此可以认为这些物品跟当前用户的偏爱非常相关，因此智能手表可能比传统手表更受青睐。 通常，用户浏览日志的某些时间段可能看起来是异构的，这个时间段里面充满了用户的短期兴趣偏好，用户在这个时间点上会以重复的方式专注于一小部分同类物品。 很容易理解，时间因素可以理解为用户的长期兴趣偏好，即使在很遥远的历史，也会对现在的兴趣产生影响，上下文偏好可以理解为用户的短期兴趣偏好，也就是用户在近期浏览的物品表征了用户现在的短期意图。说白了就是对用户进行长短期兴趣建模。 本来不想说这三个问题的，无奈部分论文说的太抽象了，或许是越抽象越容易中稿？ 说实话这篇论文在解释时间跟上下文关系的时候说的太晦涩难懂了，笔者看的也是很头疼，比如下面这段话： 首先，我们看第一个问题，我的理解就是用self-attention进行序列建模，第二个就是确定时间因素和上下文因素的影响，第三个就是综合考虑时间和上下文的影响。 还是直接看模型吧，扯一堆什么因果关系看得头大：用户空间 U ，大小为U；物品空间 V ，大小为V。 用户的历史行为序列为{ },其中 ={( , ), ( , ) , ... },其中 用户u的交互时间， 代表交互的物品。 模型的输入为包括窗口大小为L的用户历史记录:{ ( ) i: 0 -> L},当前需要推荐的时间戳 ,输入序列的embedding X表示： 同时将输入序列的时间信息使用时间戳差来表示： 模型整体上分为三个部分：content-based attention，temporal kernels和contextualized mixture 三层模型可以表示为： 其中， 根据content X来计算每个输入的权重，输出权重序列α ∈ ； 将时间信息 T 通过K temporal kernels计算每个输入的temporal权重β ∈ ； 从 X 中提取context信息，并结合前两个阶段获得的α 和β 来计算得到最终的contextualized temporal权重γ ∈ 。 最终被推荐的物品的表示为： 其中，F-out是一个feed-forward层。 这里用到的是self-attention机制，具体的细节不在赘述，只需要知道结果输出就行：其中 表示最后一个物品的输入embedding，其实就是用最后一个物品的embedding作为key，self-attention最后一层的状态 作为query来计算 的。 基于观察：用户随意浏览的物品对短期的影响会急剧下降，但是在长期来说仍有着重要的作用。用户仔细浏览过的物品对用户短期的兴趣有着重要的作用。 所以，文章提出了很多temporal kernels来建模这种时间变化，不同的kernel函数 : → 如下所示： (1) = ,假设一个用户操作的影响会随着时间指数下降，但是永远不会消失。 (2) ,假设一个用户操作的影响会随着时间而减弱，最终可以忽略不计。 (3) -alT + b,假设一个用户操作的影响会随着时间线性下降，之后的softmax操作会将某个时间段内的影响置为0。 (4) 假设一个用户操作的影响不受时间影响。 根据K个kernal函数{ },我们可以将 T 转为K个temporal权重集合： 作为下一阶段的输入。 这一阶段的目标是基于提取到的context信息融合前两个阶段获得的content和temporal信息。 使用Bidirectional RNN结构来获得context信息。从输入序列embedding表示X中，我们可以计算得到循环隐藏层的状态： 其中，⊕是拼接操作，C_attr是可选择的context特征（可以是特定推荐系统中每个行为的属性，表示行为发生时的上下文），本文中只使用了Bi-RNN的输出作为context特征。 行为i的context特征需要映射为一个长度为K的权重向量，每一个元素 都是这个行为经过 后的结果，使用feed forwaed层Fγ将它们映射到概率空间 ，然后经过softmax操作得到概率分布：最后将context和temporal信息进行融合：其中， , 其中，r是每一个item的分数，对于给定的用户，通过softmax层对item分数进行归一化，该层会在item表上产生概率分布，也就是进行多分类的意思。其中Ns是根据频率进行负采样的负样本。
论文： 论文题目：《Neural Graph Collaborative Filtering》 论文地址： 本论文是关于图结构的协同过滤算法，在原始的矩阵分解和基于深度学习的方法中，通常是通过映射描述用户（或物品）的现有特征（例如ID和属性）来获得用户（或物品）的嵌入。从而利用user和item的embedding进行协同召回。但是作者认为这种方法的固有缺点是：在user与item的interaction数据中潜伏的 协作信号（collaborative signal） 未在嵌入过程中进行编码。这样，所得的嵌入可能不足以捕获协同过滤效果。 让我们一起来看一下本论文是怎么利用数据中潜伏的协作信号的吧。 推荐算法被广泛的运用在各个领域中，在电商领域，社交媒体，广告等领域都发挥着至关重要的作用。推荐系统的核心内容就是根据用户以前的购买和点击行为来评估用户对一个物品的喜爱程度，从而针对每个用户进行个性化推荐。协同过滤算法认为历史行为相似的用户之间的兴趣是相同的，所以给用户推荐的是同类型用户的爱好，也就是UserCF，而ItemCF给用户推荐的是跟历史行为相近的物品。 传统的协同过滤方法要么是基于矩阵分解，要么是基于深度学习的，这两种方法都忽略了一个非常关键的信息---user和item交互的协作信号，该信号隐藏在user和item的交互过程中。原始的协同过滤方法忽略了这种信息，所以在进行user 和 item representation时就不足以较好的进行embedding。 本论文通过将用户项交互（更具体地说是二分图结构）集成到embedding过程中，开发了一个新的推荐框架神经图协同过滤（NGCF），该框架通过在其上传播embedding来利用user-item图结构。这种方法在用户项目图中进行高阶连通性的表达建模，从而以显式方式将协作信号有效地注入到embedding过程中。 在介绍模型之前先来讲解一下什么是useritem interaction以及什么是高阶的useritem interaction。 我们先看左边的图，这个图就是useritem interaction，u1是我们待推荐的用户，用双圆圈表示，他交互过的物品有i1，i2，i3。在看右边这个树形结构的图，这个图是u1的高阶interaction图，注意只有l > 1的才是u1的高阶连接。观察到，这么一条路径，u1 ← i2 ← u2，指示u1和u2之间的行为相似性，因为两个用户都已与i2进行了交互。而另一条更长的路径，u1←i2←u2←i4暗示u1可能会点击i4，因为他的相似用户u2之前已经购买过i4。另一方面，用户u1在l = 3这一层会更倾向于i4而不是i5，理由是i4到u1有两条路径而i5只有一条。 当然这种树结构是不可能通过构建真正的树节点来表示的，因为树模型比较复杂，而且结构很大，没法对每个用户构建一个树，这样工作量太大了。那么怎么设计模型结构可以达到跟这个high-order connectivity的效果呢，这个就要运用到神经网络了。通过设计一个embedding propagation layer来表示这种embedding 在每个层之间的传递。 还是拿上面那张图举例子，堆叠两层可捕获u1←i2←u2的行为相似性，堆叠三层可捕获u1←i2←u2←i4的潜在推荐以及信息流的强度（由层之间的可训练权重来评估），并确定i4和i5的推荐优先级。 这个跟传统的embedding是一样的，都是对原始的userID和itemID做embedding，跟传统embedding不同的地方是，在我们的NGCF框架中，我们通过在用户-项目交互图上传播embedding来优化embedding。 由于embedding优化步骤将协作信号显式注入到embedding中，因此可以为推荐提供更有效的embedding。 这一层是本文的核心内容，下面我们来进行详细的解读。 从直观上来看，用户交互过的item会给用户的偏好带来最直接的依据。类似地，交互过某个item的用户可以视为该item的特征，并可以用来衡量两个item的协同相似性。 我们以此为基础在连接的用户和项目之间执行embedding propogation，并通过两个主要操作来制定流程：消息构建和消息聚合。 Message Construction(消息构建) 对于连接的user-item对(u,i)，我们定义从i到u的消息为： 其中ei是i的embedding，eu是u的embedding，pui是用于控制每次传播的衰减因子，函数f是消息构建函数，f的定义为： 其中W1和W2用来提取有用的embedding信息，可以看到W2控制的i和u直接的交互性，这使得消息取决于ei和eu之间的亲和力，比如，传递更多来自相似项的消息。 另一个重要的地方是Nu和Ni，pui = 1/ 。Nu和Ni表示用户u和item i的第一跳邻居。 从表示学习的角度来看，pui反映了历史item对用户偏好的贡献程度。 从消息传递的角度来看，考虑到正在传播的消息应随路径长度衰减，因此pui可以解释为折扣因子。 Message Aggregation 聚合方法如下 ： 其中 表示在第一嵌入传播层之后获得的用户u的表示。激活函数采用的是leakyrelu，这个函数适合对pos和neg信号进行编码。 另一个重要的信息是 ,它的定义如下： 这个信息的主要作用是保留原始的特征信息。 至此，我们得到了 ，同样的方法，我们也能获得 ，这个都是first order connectivoty的信息。 根据前面的计算方式，我们如果将多个Embedding Propagation Layers进行堆叠，我们就可以得到high order connectivity信息了： 计算方式如下： 当我看到这里的时候，我的脑子里产生了一个大大的疑惑，我们在计算第l层的eu和ei时都需要第l-1层的信息，那么我们怎么知道ei和eu在第l层是否存在呢？也就是说出现u侧的总层数l大于i侧总层数的时候，我们如何根据第l-1层的ei来计算第l层的e呢？经过思考，我感觉应该是这样的，训练样本应该是一条path，也就是这个例子是u1 ← i2 ← u2 ← i4这条path，所以可以保证u1跟i4的层数l是一样的，所以不存在上面那个层数不匹配的问题。 ps:看到后面的实验结果才知道L是固定的所以每一层都不会缺失。 还有一个就是，不同层之间的W是不一样的，每一层都有着自己的参数，这个看公式就知道，理由就是我们在提取不同层信息的时候需要不同的W进行信息提取。 另一个疑惑是pui到底是不是每一个l层都一样？这里看公式好像就是指的是第一跳的Nu和Ni进行就计算的结果。 这部分内容是为了在进行batch训练的时候进行矩阵运算所推导的数学过程，其实跟之前我们讲的那个过程在数学上的计算是完全一样的，你想象一下，如果不用矩阵进行运算，在训练过程中要如何进行这么复杂的交互运算。 当进行了l层的embedding propagation后，我们就拥有了l个eu和l个ei，我们将他们进行concate操作： 这样，我们不仅可以通过嵌入传播层丰富初始嵌入，还可以通过调整L来控制传播范围。 最后，我们进行内积计算，以评估用户对目标商品的偏好： 采用的是pair-wise方式中的bpr loss：
论文： 论文题目：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》 地址： 这是阿里妈妈发表在2020SIGIR上面的又一篇佳作，让我们来阅读一下这篇论文吧。 在CTR/CVR预估领域中，用户历史行为对CTR/CVR预估的建模是很有指导意义的，用户的历史行为序列中潜藏着用户丰富的”兴趣点“，用户的每一次行为都是某个方面兴趣的一种反应。比如我喜欢各种口红产品、喜欢洗面奶、但是又对某个牌子不是特别感兴趣，基于这些兴趣的驱动，我可能浏览、点击过很多相关领域的内容或商品，那这些历史行为是否对我未来行为的预测有帮助呢，答案是肯定的。正是基于上述这种主观的行为模式，我们才需要对用户的历史行为进行建模，用户行为队列越长，包含的用户兴趣也就越丰富，但是同样也会带来更大的挑战，其实用户的兴趣是发散的多元的，如何从发散多元的用户兴趣中找到真正对当前任务有帮助的兴趣是十分重要的。 在介绍这篇论文之前建议先去看一下阿里的另一篇论文MIMN，也是基于用户长序列进行CTR预估的论文，但是MIMN存在着几个问题，一个是因为，当用户行为序列的长度进一步增加（例如，增加10倍或比十倍更多）时，MIMN无法精确捕获给定特定候选项的用户兴趣。另一个是因为，MIMN不能很好的解决延时和存储这两个瓶颈上的棘手问题，也就是说部署到线上到时候如何才能做到延时跟其他轻量模型相近。 在淘宝中，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？阿里妈妈提出了SIM模型来进一步从用户丰富的长期历史行为队列中挖掘用户有价值的兴趣点，并且提供一种长行为序列线上服务化的可行性方案，接下来就来看看这篇论文吧。 模型总览： SIM分为两个阶段，这两个阶段都有自己的核心部分，文章中将长序列用户行为特征的建模分为了两个模块，即Genral Search Unit（GSU）和Exact Search Unit（ESU），这两部分就是两个阶段的核心模块了。先简单的介绍下这两个模块的作用吧。GSU如图所示，简单理解就是从几百上千的用户长序列中挑选出TopK个跟候选Item最相似的K个Item，类比与推荐系统中的召回模块，先降低长序列物品的长度，在进行后续任务。另一个是ESU，这个模块的作用是对刚刚GSU抽取出来对K个物品进行序列建模，得到一个能代表用户长序列兴趣对向量，并利用这个向量进行后面对排序。 GSU的主要任务是从长度为T的序列中抽取出K个跟候选item相似的item，GSU有两种方式来选取TopK个物品，分别是hard-search 和soft-search。前面也提到了GSU类比于推荐系统中的召回阶段，而在多路召回中，一般也有基于Embedding的召回和基于策略规则的召回，其中hard-search就是基于规则的召回，soft-search就是基于Embedding的召回，下面来详细讲一下这两种方法。 这种方法比较直观而且实施起来比较简单，就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集，举个例子，我在淘宝上历史浏览过很不同种类的商品（比如电子产品、口红、男鞋等等），当候选广告是iphone12时，hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模，用于PCTR预估，而口红、男鞋大概率就不会对这次预估产生影响，通过上面这个例子大家应该能明白这种基于规则和策略的思路。论文中指出hard-search方法使用的是商品类别作为筛选的标准。 这种方法是基于Embedding的抽取方式，从上面的模型图的左侧可以看到整个soft-search的结构。这个部分也是一个子模型，模型的输入是候选Item和长序列，目标是CTR预估，用这种方式来学习候选Item和长序列Item的embedding信息。有了Embedding后，就可以将候选广告embedding和历史行为中的embedding算一个内积相似度，利用近似最近邻检索方法（论文中用的是ALSH）来得到topK相关的候选行为序列。 在这个子model中，DNN的输入是候选item 和Ur的concat，其中Ur：注意，如果用户行为增长到一定程度，则不可能将整个用户行为直接输入模型。 在这种情况下，可以从长序列用户行为中随机采样子序列集，这些行为仍需遵循原始序列的相同分布。 这种方法的缺点就是计算开销比较大，不如基于规则的hard-search方便，优点就是效果应该会更好一些。但是论文中也提到了两种方法在效果上的差异不是特别的大，所以最后基于性能和效果的折中，采用了hard-search这种比较简单的方式。 从模型整体上来看，这部分主要是利用从GSU抽取出来的K个Item得到一个能代表用户长期兴趣的向量，并配合其他特征送的DNN里面做整体的CTR预估任务。 论文中对这K个来自GSU对item是用self-attention进行序列建模的： 其中 为： concat中第一个是原始的embedding，第二个是关于时间的embedding。 根据self-attention的方式，我们又得到了一个向量h(K)。 这里，第二个子model也进行了ctr预估，特征是模型图上面画出来 input，还有个dien，dien前面的文章以及介绍过了，就不再赘述。 最后的loss是： 其中α和β是控制损耗权重的超参数。 在我们的实验中，如果GSU使用软搜索模型，则将α和β都设置为1。具有硬搜索模型的GSU是非参数的，并且α设置为0。 广告推荐系统对线上的计算耗时要求还是比较严格的，因为要保证用户最基本的用户体验。随着用户行为序列的进一步增长，采用传统的方式直接对长序列用户行为进行计算耗时和内存占用会增长的特别快，所以需要有针对性的对线上系统进行一定的升级和改造。文章提到在hard-search和soft-search的选择中，是基于大量的离线实验结果最终决定采用hard-search这种方便快捷有效的方式，同时信息损失也在可以接受的范围内。 一般的线上部署的系统架构图是这样： 为了让SIM能更好的给用户带来低延时的体验，阿里构建了SIM的Online Seving结构： 可以看到对于用户的行为序列，论文采用的是对每个用户采用的是两层索引的结构：key-key-value，第一个key是user_id，第二个key是category ids，value是用户行为序列中属于对应类别的item。用这种方式可以很快的通过这个索引树找到属于统一category的物品。线上A/B Test实验效果： 用户的历史行为对于整个CTR/CVR预估任务越来越重要了，如果不考虑时间和存储，那么把所有的序列输入到模型中作为长期兴趣关键点是可以精确的定位出用户的长期兴趣的，但是由于性能的原因就不得不考虑用特殊的方法对这个长序列进行一次筛选，筛选的K个物品都是跟候选Item相似的物品，能做到裁剪的效果还不会带来CTR预估的损失。在进行筛选过程中还分为了两种方法，但是为了部署到线上，就要考虑性能最好的hard-search方式进行TopK筛选任务，这种方式跟Embedding筛选的效果是差不多的，但是速度比Embedding快，所以采用这种方式。 未来应该还会有更多针对序列推荐的论文，单纯的对长序列阶段还带来一定的兴趣偏差，所以如何有效挖掘用户更丰富行为特征背后的商业价值是需要好好思考的。