综述类: 1、Towards the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions。最经典的推荐算法综述 2、Collaborative Filtering Recommender Systems. JB Schafer 关于协同过滤最经典的综述 3、Hybrid Recommender Systems: Survey and Experiments 4、项亮的博士论文《动态推荐系统关键技术研究》 5、个性化推荐系统的研究进展.周涛等 6、Recommender systems L Lü, M Medo, CH Yeung, YC Zhang, ZK Zhang, T Zhou Physics Reports 519 (1), 1-49 （ ） 个性化推荐系统评价方法综述.周涛等 协同过滤： factorization techniques for recommender systems. Y Koren collaborative filtering to weave an information Tapestry. David Goldberg （协同过滤第一次被提出） Collaborative Filtering Recommendation Algorithms. Badrul Sarwar , George Karypis, Joseph Konstan .etl of Dimensionality Reduction in Recommender System – A Case Study. Badrul M. Sarwar, George Karypis, Joseph A. Konstan etl Memory-Based Collaborative Filtering. Kai Yu, Anton Schwaighofer, Volker Tresp, Xiaowei Xu,and Hans-Peter Kriegel systems:a probabilistic analysis. Ravi Kumar Prabhakar recommendations: item-to-item collaborative filtering. Greg Linden, Brent Smith, and Jeremy York of Item-Based Top- N Recommendation Algorithms. George Karypis Matrix Factorization. Ruslan Salakhutdinov Decompositions,Alternating Least Squares and other Tales. Pierre Comon, Xavier Luciani, André De Almeida 基于内容的推荐： Recommendation Systems. Michael J. Pazzani and Daniel Billsus 基于标签的推荐： Recommender Systems: A State-of-the-Art Survey. Zi-Ke Zhang(张子柯), Tao Zhou(周 涛), and Yi-Cheng Zhang(张翼成) 推荐评估指标： 1、推荐系统评价指标综述. 朱郁筱，吕琳媛 2、Accurate is not always good：How Accuacy Metrics have hurt Recommender Systems 3、Evaluating Recommendation Systems. Guy Shani and Asela Gunawardana 4、Evaluating Collaborative Filtering Recommender Systems. JL Herlocker 推荐多样性和新颖性： 1. Improving recommendation lists through topic diversification. Cai-Nicolas Ziegler Sean M. McNee, Joseph Lausen Fusion-based Recommender System for Improving Serendipity Maximizing Aggregate Recommendation Diversity：A Graph-Theoretic Approach The Oblivion Problem：Exploiting forgotten items to improve Recommendation diversity A Framework for Recommending Collections Improving Recommendation Diversity. Keith Bradley and Barry Smyth 推荐系统中的隐私性保护： 1、Collaborative Filtering with Privacy. John Canny 2、Do You Trust Your Recommendations? An Exploration Of Security and Privacy Issues in Recommender Systems. Shyong K “Tony” Lam, Dan Frankowski, and John Ried. 3、Privacy-Enhanced Personalization. Alfred 4、Differentially Private Recommender Systems：Building Privacy into the Netflix Prize Contenders. Frank McSherry and Ilya Mironov Microsoft Research, Silicon Valley Campus 5、When being Weak is Brave: Privacy Issues in Recommender Systems. Naren Ramakrishnan, Benjamin J. Keller,and Batul J. Mirza 推荐冷启动问题： Boltzmann Machines for Cold Start Recommendations. Asela Preference Regression for Cold-start Recommendation. Seung-Taek Park, Wei Chu Cold-Start Problem in Recommendation Systems. Xuan Nhat and Metrics for Cold-Start Recommendations. Andrew I. Schein, Alexandrin P opescul, Lyle H. U ngar bandit(老虎机算法,可缓解冷启动问题): 1、Bandits and Recommender Systems. Jeremie Mary, Romaric Gaudel, Philippe Preux 2、Multi-Armed Bandit Algorithms and Empirical Evaluation 基于社交网络的推荐： 1. Social Recommender Systems. Ido Guy and David Carmel A Social Networ k-Based Recommender System(SNRS). Jianming He and Wesley W. Chu Measurement and Analysis of Online Social Networks. Referral Web：combining social networks and collaborative filtering 基于知识的推荐： 1、Knowledge-based recommender systems. Robin Burke 2、Case-Based Recommendation. Barry Smyth 3、Constraint-based Recommender Systems: Technologies and Research Issues. A. Felfernig. R. Burke 其他： Trust-aware Recommender Systems. Paolo Massa and Paolo Avesani
毕业论文是学术论文的一种形式，为了进一步探讨和掌握毕业论文的写作规律和特点，需要对毕业论文进行分类。由于毕业论文本身的内容和性质不同，研究领域、对象、方法、表现方式不同，因此，毕业论文就有不同的分类方法。按内容性质和研究方法的不同可以把毕业论文分为理论性论文、实验性论文、描述性论文和设计性论文。后三种论文主要是理工科大学生可以选择的论文形式，这里不作介绍。文科大学生一般写的是理论性论文。理论性论文具体又可分成两种：一种是以纯粹的抽象理论为研究对象，研究方法是严密的理论推导和数学的运算，有的也涉及实验与观测，用以验证论点的正确性。另一种是以对客观事物和现象的调查、考察所得观测资料以及有关文献资料数据为研究对象，研究方法是对有关资料进行分析、综合、概括、抽象，通过归纳、演绎、类比，提出某种新的理论和新的见解。按议论的性质不同可以把毕业论文分为立论文和驳论文。立论性的毕业论文是指从正面阐述论证自己的观点和主张。一篇论文侧重于以立论为主，就属于立论性论文。立论文要求论点鲜明，论据充分，论证严密，以理和事实服人。驳论性毕业论文是指通过反驳别人的论点来树立自己的论点和主张。如果毕业论文侧重于以驳论为主，批驳某些错误的观点、见解、理论，就属于驳论性毕业论文。驳论文除按立论文对论点、论据、论证的要求以外，还要求针锋相对，据理力争。
唯美主义是西方十九世纪后期出现的一种文艺思潮,一直以来也都是人们关注的话题。下面是我带来的唯美经典英文 文章 ，欢迎阅读!
唯美经典英文文章1
Of Study论读书
-By Francis Bacon弗兰西斯·培根
书籍是喂养人类灵魂的粮食，人不吃饭会饿死，那么人的精神缺乏适当的喂养也会饥饿，我想在现代这个速食的社会所缺乏的就是精神食粮的喂养。不断阅读，这样我们才不至于越来越肤浅。
Studies serve for delight, for ornament and for ability. Their chief use for delight, is in privateness and retiring; for ornament, is in discourse; and for ability, is in the judgment, and disposition of business. For expert men can execute, and perhaps judge of particulars, one by one; but the general counsels, and the plots and marshalling of affairs, come best, from those that are learned. To spend too much time in studies is sloth to use them too much for ornament, is affectation; to make judgment wholly by their rules, is the humor of a scholar.
读书足以怡情，足以傅彩，足以长才。其怡情也，最见于独处幽居之时;其傅彩也，最见于高谈阔论之中;其长才也，最见于处世判事之际。练达之士虽能分别处理细事或一一判别枝节，然纵观统筹、全局策划，则舍好学深思者莫属。读书费时过多易惰，文采藻饰太盛则矫，全凭条文断事乃学究故态。
They perfect nature, and are perfected by experience: for natural abilities are like natural plants, that need pruning by study; and studies themselves, do give forth directions too much at large, except they be bounded in by experience. Crafty men contemn studies, simple men admire them, and wise men use them; for they teach not their own use; but that is a wisdom without them, and above them, won by observation Read not to contradict and confute nor to believe and take for granted.
读书补天然之不足， 经验 又补读书之不足，盖天生才干犹如自然花草，读书然后知如何修剪移接;而书中所示，如不以经验范之，则又大而无当。有一技之长者鄙读书，无知者羡读书，唯明智之士用读书，然书并不以用处告人，用书之智不在书中，而在书外，全凭观察得之。读书时不可存心诘难作者，不可尽信书上所言，亦不可只为寻章摘句，而应推敲细思。
Some books are to be tasted, others to be swallowed, and some few to be chewed and digested; that is, some books are to be read only in parts; others to be read, but not curiously; and some few to be read wholly, and with diligence and attention Some books also may be read by deputy, and extracts made of them bothers; but that would be only in the less important arguments, and the meaner sort of books, else distilled books are like common distilled waters, flashy things.
书有可浅尝者，有可吞食者，少数则须咀嚼消化。换言之，有只需读其部分者，有只需大体涉猎者，少数则须全读，读时须全神贯注，孜孜不倦。书亦可请人代读，取其所作摘要，但只限题材较次或价值不高者，否则书经提炼犹如水经蒸馏、淡而无味矣。
唯美经典英文文章2
First Snow初雪
初雪来临的时候，有人在漫天飞舞的雪花中欢呼雀跃，恨不能随之飞舞;也有孩童迫不及待地冲出家门，想用初雪堆砌冬天第一个雪人;也有人望着落于手心，慢慢融化的雪花，神情恬淡而飘缈;亲爱的，你是怎样迎接每一场初雪的?
This morning, when I first caught sight of the unfamiliar whitened world, I could not help wishing that we had snow oftener, that English winters were more wintry.
今天早上，当我第一次看见这个陌生的银白色的世界时，我不禁衷心希望这里能够多下几场雪，这样我们英国的冬天才能更增添几分冬天的味道。
How delightful it would be, I thought, to have months of clean snow and a landscape sparkling with frost instead of innumerable grey featureless days of rain and raw winds.
我想，如果我们这里经常是个冰雪积月、霜华璀璨的景象，而不是像现在这种苦雨凄风永无尽期的阴沉而乏特色的日子，那该多么令人喜悦啊!
I began to envy my friends in such places as the Eastern States of America and Canada, who can count upon a solid winter every year and know that the snow will arrive by a certain date and will remain, without degenerating into black slush, until Spring is close at hand. To have snow and frost and yet a clear sunny sky and air as crisp as a biscuit - this seemed to me happiness indeed.
于是我羡慕起那些居住在美国东部各州和加拿大的我的友人们，他们那里年年都能出现一个像样的冬天，都能说得出降雪的确切日期，并能保证，直至大地春回之前，那里的雪绝无退化为黑色泥浆的可能。既有霜雪，又有晴朗温煦的天空，而且空气又非常凉爽清新——这在我看来实在是很大的快乐。
And then I saw that it would never do for us. We should be sick of it in a week. After the first day the magic would be gone and there would be nothing left but the unchanging glare of the day and the bitter cruel nights.
但马上我又觉得这样还是不行。不出一周人们就会对它感到厌烦。第一天后魔力便会消失，剩下的唯有白昼那种永无变化的耀眼阳光与刺骨严寒和凄冷的夜晚。
It is not the snow itself,the sight of the blanketed world, that is so enchanting, but the first coming of the snow, the sudden and silent of the relations, for ever shifting and unanticipated,of wind and water comes a magical event.
让人如此着迷的不是雪的本身，不在这个银装素裹的景象，而是初雪降临时，那突然而宁静的变化。正是从风风雨雨这类变幻无常和难以预期的关系之中才会出现这种以降雪为奇迹的情形。
Who would change this state of things for a steadily recurring round,an earth governed by the calendar? It has been well said that while other countries have a climate, we alone in England have weather. There is nothing duller than climate,which can be converted into a topic only by scientists and hypochondriacs.
谁又肯拿眼前这般景致去换上个永远周而复始的单调局面，一个全由年历来控制的大地?有一句话说的好，别的国家都有气候，唯有英国才有天气。气候是最为枯燥和乏味的，或许只有科学家与疑难杂症患者才会把它当做话题。
But weather is our earth's Cleopatra, and it is not to be wondered at that we, who must share her gigantic moods, should be for ever talking about her. Once we were settled in America, Siberia, Australia, where there is nothing but a steady pact between climate and the calendar,we should regret her very naughtinesses, her willful pranks,her gusts of rage, and sudden tears.
但是天气却是我们这块土地上的克里奥佩特拉，因而毫不奇怪，人们为它巨大情绪变化所左右，总不免要对她窃窃私议。假如一旦我们定居于美洲、西伯利亚与澳大利亚，在那里气候与年历之间早已有成约在先，我们即使仅仅因为失去她的调皮，她任性的恶作剧，她的狂忿盛怒与涕泣涟涟也会深感遗憾。
唯美经典英文文章3
Summer Afternoon夏日午后
夏日的午后，太阳毫不吝惜的挥洒着热度。炎炎夏日，挥汗如雨，大汗淋漓之后却有着莫名的酣畅淋漓。夏日，就这么真诚的张扬着自己独特的个性，挥洒着灼人的热情。
Summer afternoon; to me those have always been the two most beautiful words. Summer is the glorious time of the year when most of us can put on our shorts and short-sleeved shirts and actually feel the air and sunlight on our skin; when we don't have to turn up the heat in the morning when we get up; but also when we lay hot and sweaty in bed, unable to sleep at times (those of us who don't have air conditioning, anyway); when we get the sunburn and the heatstroke and all those wonderful things.
夏日的下午;对我来说，这几个字一直是英语语言中最美丽的两个字。浪漫夏季，这是一年中最灿烂的季节，我们可以穿上短裤，短袖，尽情地感受着夏日的空气以及撒在皮肤上的阳光;我们不必要在清晨起床后就去打开暖气;当然我们也会满身是汗，燥热地躺在床上，而无法入眠(那些没有空调设施的人们);有了一身夏日晒斑，中暑，这一切都是我们经历着夏日的美妙事情。
All green and fair the summer lies, just budded from the bud of spring, with tender blue of wistful skies, and winds that softly sing. How beautiful the summer night is, which is not night, but a sunless, yet unclouded day,descending upon earth with dews and shadows and refreshing coolness! How beautiful the long mild twilight,which, like a silver clasp, unites today with yesterday!
夏日展现出一片翠绿、美丽的图画，就像春天的蓓蕾刚刚萌芽，湛蓝的令人向往的天空，还有那轻声吟唱的微风。夏日的夜晚也是美丽的，与其称它为夜晚，它其实更像一个阳光照射不到的，晴朗的白昼，它携带清露，阴凉以及一丝丝清爽降落到了地球!这漫长柔和的夏日黎明也是如此美丽，它就像一个银扣，将今天与昨天紧紧地联系在一起!
Summer is a sailor in a rowboat and ice-cream on your dress when you're four years old. Summer is a man with his coat off, wet sand between your toes, the smell of a garden an hour before moonrise. Summer is silk itself, a giant geranium and music from a flute far away!
夏日是一叶小舟上的船夫，是你四岁时不小心沾在裙脚上的冰淇淋;夏日是赤裸着上身的男人，是浸入你脚趾间的湿漉漉的沙子;夏日还是朝阳初升前一小时的那花园里的清香味。夏日就是那丝绸锦缎，那盛开的天竺葵，以及从远方飘来的悠悠长笛声!
No matter how we see it, summer has a magic that we can't deny - all four seasons do.
不管我们如何看待它，夏季总有着那么一种我们无法否认的魔力——每个季节独有的魔力。
学习英语可以是一个枯燥的过程，也可以是一个有趣的过程。我在此献上经典英语美文，希望对大家喜欢。
美文欣赏：我决定从此过上幸福的生活
It was many years ago. I was a young dad sitting on the couch reading a fairy tale to my little girl. She sat next to me with her head on my arm as I told the tale. When it came to the end I finished with those famous words: "And they lived happily ever after." As I looked over to her with her wavy, brown hair and big, innocent eyes I could see the smile on her face and I never wanted it to end. It dawned on me then that the ending of the book was what I wanted for her. I wanted her to "live happily ever after."
很多年前我还是个年轻的爸爸，坐在沙发上给小女儿讲童话故事。她坐在我身边，头枕在我胳膊上听我讲故事。故事的最后我用那句经典的话作结束语：“从此他们过上了幸福的生活。”我看着她，她有着卷曲的棕色头发和大大的、天真的眼睛，我能从她的脸上看到微笑，我希望能永远这样看着她。那时我明白了故事的结尾也是我对她的期望，我希望她“从此过上幸福的生活。”
Still, deep in my heart I knew that this couldn't always be so. I knew that there would be times when her heart was broken. I knew there would be times when she cried in grief and I couldn't comfort her. I knew there would be times when all she felt was fear, sadness, sorrow, and despair. As I stroked her hair and smiled at her I hoped that those times would be brief and that she would have joy in her life more often than not. Living happily ever after, though, seemed out of the question.
然而内心深处我知道现实并非总能如我所愿。我知道有时她会伤心;我知道有时她会伤心地哭泣，而我却不能给她安慰;我知道有时她只会感到恐惧、伤心、懊悔和绝望。我抚摸着她的头发，对她微笑，我希望那些时刻都能很快过去，希望她的生活中更多的是快乐，然而，从此过上幸福生活似乎是不可能的。
It took me a lot of years to realize that it IS possible to live happily ever after. You just have to do it "one day at a time." Happiness you see isn't some reward that you get at the end of your journey. Happiness isn't something dependent on what life hands you. Happiness is something you create in your life choice by choice and day by day.
很多年以后我才意识到从此过上幸福生活是可以实现的。你只需要“认真过好每一天”。你看到的幸福并非你人生旅程最终的奖励，幸福不是取决于生活赐予你什么，而是你日复一日通过一个个选择在生活中创造出来的。
The truth is happiness comes when you love. Love is a gift from God. It is love that mends broken hearts. It is love that heals grief. It is love that gives us joy. Choose to "live happily ever after, one day at a time."
事实是幸福就是付出爱时的体验，爱是上帝恩赐的礼物。只有爱才能修复受伤的心灵;只有爱才能抚平伤痛;只有爱才能给我们带来快乐。选择“从此过上幸福的生活，过好每一天。”
美文欣赏：想逃离现在的生活追寻自由
Have you ever gone on vacation and said to yourself, “I could live here?” On a trip to Jamaica, Kalisa Martin entertained that idea —and actually went through with it.
你是否曾经旅行过并告诉你自己：“我能住在这里”?在去牙买加的一次旅途中，卡丽萨·马汀思考了这个想法——也事实上将它完成了。
It was during a lingering and nasty New York City winter in March 2014. Martin and her boyfriend Jeff Belizaire decided to escape the snow by taking a last-minute getaway to Jamaica.
那是在2014年三月纽约市一个漫长而恶劣的冬季期间。马汀和她的男朋友杰夫·贝利泽尔突发奇想决定马上跑去牙买加躲避雪天。
At the time, Martin had a dream job in the New York culinary world: brand director at Tasting Table, a digital destination for culinary enthusiasts. She also appeared on national television shows like Good Morning America.
在那时，马汀在纽约的烹饪界有着一份理想的工作：Tasting Table的品牌主理人，这是一家美食热爱者的线上聚集地。她同时也在国家电视节目如《早安美国》中出现过。
But there was something about that trip that spoke to Martin — profoundly.
但是，有关那趟旅程的什么东西深深地印在了马汀的内心。
“That long weekend, the idea of the B&B concept came up and we thought, ‘Why not?’It could happen, and it could happen right here in Jamaica,”said 30-year-old Martin. “That was the first time we seriously considered the idea.”
“在那个漫长的周末里，“床加早餐”理念(一种旅店形式)的想法蹦了出来，我们想着‘为什么不呢?’那是有可能发生的，而且有可能就发生在这儿，在牙买加，”30岁的马汀说道。“那是我们第一次认真考虑这个想法。”
Within four months Martin had quit her job and was on her way to Jamaica with Belizaire to create The Runaway, a bed-and-breakfast that has grown into a lifestyle travel brand.
在四个月里，马汀辞了职，并和贝利泽尔踏上了去牙买加创造The Runaway的道路，一个有着“床加早餐”理念的想法开始成为一个生活方式旅游品牌。
“We ran away from the cold and the typical 9-5 to follow our dreams and create this new life,”says Martin.
“我们从寒冷与典型的朝九晚五中逃离出来追寻我们的梦，并创造了这个全新的生活，”马汀说。
And this isn’t your average bed-and-breakfast. The Runaway Jamaica is the first successfully funded B&B on Kickstarter. Backers donated almost $47,000 to help bring the property to life.
这也并非只是典型的“床加早餐”。The Runaway Jamaica是第一家成功在Kickstarter上得到资助的“床加早餐”理念的品牌。支持者们捐献了将近47000美元来帮助它成为现实。
美文欣赏：这就是信仰的力量
As we slowly drove down the street on that cold December evening we spotted the porch light. "This must be the house." I told our "Positive Teens In Action" group. We pulled up in front of an older home with the porch light glowing. We gathered up our song books, walked up the steps, and knocked on the door. We heard a faint voice from inside say, “Come on in. The door is open." We opened the door.
在那个寒冷的12月份的夜晚我们开车在路上慢慢行驶时看到了门廊的灯光，我跟我们这个“积极行动的青年小队”说：“一定就是这家了。”我们把车停在一栋旧房子前，门廊灯光很亮。我们拿出歌集，走上台阶敲了敲门，听到里面传来一个虚弱的声音：“进来吧，门开着呢”，我们推开了门。
There in a rocking chair sat an elderly woman with a big smile on her face. "I've been expecting you." she said weakly. Ruth was one of our Meals On Wheels stops I had arranged; along with the usual church members who enjoyed carolers. We handed Ruth the basket of goodies the teens had assembled earlier that evening. Then I asked Ruth what carols she would like to hear. Ruth's face was beaming as she joined in singing each song.
摇椅上坐着一位老太太，脸上带着灿烂的笑容，她虚弱地说：“我一直盼着你们来。”Ruth的家是我安排的上门送餐服务的一站，和我们一起来的还有喜欢唱圣歌的常去教堂的人。我们递给Ruth一篮子美味的食物，都是我们这些年轻人那天晚上提前装好的。然后我问Ruth她想听什么圣诞颂歌，她跟着唱每首歌时脸上都洋溢着笑容。
As we hugged Ruth good-bye she said to me with tears glistening in her eyes, “The day you called I was still in bed. I had just finished praying. I asked God if it would be possible to have some Christmas Carolers come to my home and sing this year. Thank you for being the answer to my Christmas prayer."
我们跟Ruth拥抱说再见时，她眼睛里闪着泪光对我说：“你打电话那天我还躺在床上，刚刚做完祷告，我问上帝今年能否让唱圣诞颂歌的人来我家唱颂歌。感谢你使我梦想成真。”
Wow, what an awesome experience to have the opportunity to be the answer to someone's Christmas prayer.
哇哦，能使别人的祷告得以实现是多棒的一次经历呀。
Bible Text: When you pray, go to your room, close the door, and pray to your Father who is unseen. And your Father, who sees what you do in private, will reward you. Matthew 6:6
《圣经》原文：祈祷时要去房间里，关上门向无形的上帝祈祷，上帝看见你在秘密祈祷，就会回报给你。马太福音6:6
利用英语经典美文开展阅读教学,是培养学生阅读能力的有效形式。下面是我带来的经典的英文 文章 ，欢迎阅读!
经典的英文文章1
True nobility
真实的高贵
In a calm sea every man is a pilot.
在风平浪静的大海上,每个人都是领航员。
But all sunshine without shade, all pleasure without pain, is not life at the lot of the happiest - it is a tangled and blessings,one following another, make us sad and blessed by turns. Even death itself makes life more loving. Men come closest to their true selves in the sober moments of life, under the shadows of sorrow and loss.
但只有阳光没有阴影,只有快乐没有痛苦,根本不是真正的生活.就拿最幸福的人来说,他的生活也是一团缠结在一起的乱麻。痛苦与幸福交替出现,使得我们一会悲伤一会高兴。甚至死亡本身都使得生命更加可爱。在人生清醒的时刻,在悲伤与失落的阴影之下,人们与真实的自我最为接近。
In the affairs of life or of business, it is not intellect that tells so much as character, not brains so much as heart, not genius so much as self-control, patience, and discipline, regulated by judgment.
在生活和事业的种种事务之中，性格比才智更能指导我们，心灵比头脑更能引导我们，而由判断获得的克制、耐心和教养比天分更能让我们受益。
I have always believed that the man who has begun to live more seriously within begins to live more simply without. In an age of extravagance and waste, I wish I could show to the world how few the real wants of humanity are.
我一向认为，内心生活开始更为严谨的人，他的外在生活也会变得更为简朴。在物欲横流的年代，但愿我能向世人表明：人类的真正需求少得多么可怜。
To regret one's errors to the point of not repeating them is true is nothing noble in being superior to some other man. The true nobility is in being superior to your previous self.
反思 自己的过错不至于重蹈覆辙才是真正的悔悟。高人一等并没有什么值得夸耀的。真正的高贵是优于过去的自已。
经典的英文文章2
Be grateful to life
感恩生活
Once President Roosevelt’s house was broken into and lots of things were stolen. Hearing this, one of Roosevelt’s friends wrote to him and advised him not to take it to his heart so much.
美国总统罗斯福的家曾经失窃，财物损失严重。朋友闻此消息，就写信来安慰他，劝他不必把这件事放在心上。
President Roosevelt wrote back immediately, saying,”Dear friend, thank you for your letter to comfort me. I’m all right now. I think I should thank God. This is because of the following three reasons: firstly, the thief only stole things from me but did not hurt me at all; secondly, the thief has stolen some of my things instead of all my things; thirdly, most luckily for me, it was the man rather than me who became a thief…”
罗斯福总统很快回信说：“亲爱的朋友，谢谢你来信安慰我，我一切都很好。我想我应该感谢上帝，因为：第一，我损失的只是财物，而人却毫发未损;第二，我只损失了部分财物，而非所有财产;第三，最幸运的是，做小偷的是那个人，而不是我……”
It was quite unlucky for anyone to be stolen from.. However, President Roosevelt had such three reasons to be so grateful. This story tells us how we can learn to be grateful in our life.
对任何人来说，家中失窃绝非幸事。但是，罗斯福总统却能找到三个感恩的理由。这个 故事 告诉我们，生活中，我们应该学会感恩。
Being grateful is an important philosophy of life and a GREat wisdom. . It is impossible for anyone to be lucky and successful all the time so long as he lives in the world. smile and so will it when you cry to it. ” If you are grateful to life, it will bring you shining sunlight.
感恩是一项重要的处世哲学，是生活的大智慧。人生在世，不可能事事顺通。对于各种失败和不幸，我们要豁达大度，勇敢地面对，并想办法解决。
We should learn how to face failure or misfortune bravely and generously and to try to deal with it. If so, should we complain about our life and become frustrated and disappointed ever since then or should we be grateful for our life, rise again ourselves after a fall? William Thackeray, a famous British writer, said, “Life is a mirror. When you smile in front of it , it will also
面对困难，我们是懊恼抱怨、沮丧气馁，陷入绝望，还是对生活满怀感恩之心，跌倒后再爬起来呢?英国著名作家威廉·萨克雷说过，“生活是一面镜子，你对它笑，它也会对你笑;你对他哭，它也会对你哭。”
If you always complain about everything, you may own nothing in the end. When we are successful, we can surely have many reasons for being grateful, but we have only one excuse to show ungratefulness if we fail.
如果对生活感恩，你的生命将充满灿烂的阳光;如果一味怨恨，终将一无所获。我们成功时，有千万个理由感恩生活，而失败时，只要一个借口就会表现出忘恩负义。
I think we should even be grateful to life whenever we are unsuccessful or unlucky. Only by doing this can we find our weakness and shortcomings when we fail. We can also get relief and warmth when we are unlucky. This can help us find our courage to overcome the difficulties we may face, and receive great impetus to move on. We should treat our frustration and misfortune in our life in the other way just as President Roosevelt did. We should be grateful all the time and keep having a healthy attitude to our life forever, keep having perfect characters and enterprising spirit. Being grateful is not only a kind of comfort, not an escape from life and nor thinking of winning in spirit like Ah Q. Being grateful is a way to sing for our life which comes just from our love and hope.
我想，不论是遭遇失败还是不幸，我们都应该感谢生活。只有这样，失败后，我们才能发现自己的缺点和不足，不幸时，我们还能感受到安慰和温暖。这些就能帮我们找回勇气，战胜困难，并获取前进的强大推动力。我们应像罗斯福总统那样，换一个角度去看待生活中的失败和挫折，永远对生活充满感恩，才能时刻保持健康的心态，积极地生活，并能保持完美的人格和不断进取的精神。感恩不仅仅是一种精神慰藉，也不是对现实的规避，更不是阿Q的精神胜利法。感恩源于我们对生活的热爱和希望，它是我们歌颂生活的一种方式。
When we put a small piece of alum into muddy water, we can see the alum can soon make the water clear. If each of us has an attitude of being grateful, we’ll be able to get rid of impulse, upset, dissatisfaction and misfortune. Being grateful can bring us a better and more beautiful life.
把一小块明矾放入混沌的水中，我们发现，水很快就澄清了。如果人人都有一颗感恩的心，就能沉淀许多的浮躁和不安，消融许多的不满和不幸。感恩能让我们的生活变得更加美好。
一、什么是文献综述 文献综述是对某一方面的专题搜集大量情报资料后经综合分析而写成的一种学术论文，它是科学文献的一种。 文献综述是反映当前某一领域中某分支学科或重要专题的最新进展、学术见解和建议的它往往能反映出有关问题的新动态、新趋势、新水平、新原理和新技术等等。 二、学写综述的好处①通过搜集文献资料过程，可进一步熟悉文献的查找方法和资料的积累方法；在查找的过程中同时也扩大了知识面；②查找文献资料、写文献综述是临床科研选题及进行临床科研的第一步，因此学习文献综述的撰写也是为今后科研活动打基础的过程；③通过综述的写作过程，能提高归纳、分析、综合能力，有利于独立工作能力和科研能力的提高；④文献综述选题范围广，题目可大可小，可难可易，可根据自己的能力和兴趣自由选题。 三、文献综述的特点其特点首先是“综”，“综”是要求对文献资料进行综合分析、归纳整理，使材料更精练明确、更有逻辑层次；其次是“述”。 “述”就是要求对综合整理后的文献进行比较专门的、全面的、深入的、系统的论述。总之，文献综述是作者对某一方面问题的历史背景、前人工作、争论焦点、研究现状和发展前景等内容进行评论的科学性论文。四、文献综述研究写作步骤一般须经过选题，搜集阅读文献资料、拟定提纲（包括归纳、整理、分析）和成文四个阶段。1．选题和搜集阅读文献 撰写文献综述通常出于某种需要，如为某学术会议的专题、从事某项科研、为某方面积累文献资料等等，所以，文献综述的选题，作者一般是明确的，不象科研课题选题那么困难。文献综述选题范围广，题目可大可小，大到一个领域、一个学科，小到一种疾病、一个方法、一个理论，可根据自己的需要而定，初次撰写文献综述，特别是实习同学所选题目宜小些，这样查阅文献的数量相对较小，撰写时易于归纳整理，否则，题目选得过大，查阅文献花费的时间太多，影响实习，而且归纳整理困难，最后写出的综述大题小作或是文不对题。 选定题目后，则要围绕题目进行搜集与文题有关的文献。关于搜集文献的有关方法，前面的有关章节已经介绍，如看专著、年鉴法、浏览法、滚雪球法、检索法等等，在此不再重复。搜集文献要求越全越好，因而最常用的方法是用检索法。搜集好与文题有关的参考文献后，就要对这些参考文献进行阅读、归纳、整理，如何从这些文献中选出具有代表性、科学性和可靠性大的单篇研究文献十分重要，从某种意义上讲，所阅读和选择的文献的质量高低，直接影响文献综述的水平。因此在阅读文献时，要写好“读书笔记”、“读书心得”和做好“文献摘录卡片”。有自己的语言写下阅读时得到的启示、体会和想法，将文献的精髓摘录下来，不仅为撰写综述时提供有用的资料，而且对于训练自己的表达能力，阅读水平都有好处，特别是将文献整理成文献摘录卡片，对撰写综述极为有利。 2．格式与写法 文献综述的格式与一般研究性论文的格式有所不同。这是因为研究性的论文注重研究的方法和结果，特别是阳性结果，而文献综述要求向读者介绍与主题有关的详细资料、动态、进展、展望以及对以上方面的评述。因此文献综述的格式相对多样，但总的来说，一般都包含以下四部分：即前言、主题、总结和参考文献。撰写文献综述时可按这四部分拟写提纲，在根据提纲进行撰写工。 前言部分，主要是说明写作的目的，介绍有关的概念及定义以及综述的范围，扼要说明有关主题的现状或争论焦点，使读者对全文要叙述的问题有一个初步的轮廓。主题部分，是综述的主体，其写法多样，没有固定的格式。可按年代顺序综述，也可按不同的问题进行综述，还可按不同的观点进行比较综述，不管用那一种格式综述，都要将所搜集到的文献资料归纳、整理及分析比较，阐明有关主题的历史背景、现状和发展方向，以及对这些问题的评述，主题部分应特别注意代表性强、具有科学性和创造性的文献引用和评述。 总结部分，与研究性论文的小结有些类似，将全文主题进行扼要总结，对所综述的主题有研究的作者，最好能提出自己的见解。参考文献虽然放在文末，但却是文献综述的重要组成部分。因为它不仅表示对被引用文献作者的尊重及引用文献的依据，而且为读者深入探讨有关问题提供了文献查找线索。因此，应认真对待。参考文献的编排应条目清楚，查找方便，内容准确无误。关于参考文献的使用方法，录著项目及格式与研究论文相同，不再重复。 3．注意事项 由于文献综述的特点，致使它的写作既不同于“读书笔记”“读书报告”，也不同于一般的科研论文。因此，在撰写文献综述时应注意以下几个问题： 1）搜集文献应尽量全。掌握全面、大量的文献资料是写好综述的前提，否则，随便搜集一点资料就动手撰写是不可能写出好多综述的，甚至写出的文章根本不成为综述。2）注意引用文献的代表性、可靠性和科学性。在搜集到的文献中可能出现观点雷同，有的文献在可靠性及科学性方面存在着差异，因此在引用文献时应注意选用代表性、可靠性和科学性较好的文献。 3）引用文献要忠实文献内容。由于文献综述有作者自己的评论分析，因此在撰写时应分清作者的观点和文献的内容，不能篡改文献的内容。 4）参考文献不能省略。有的科研论文可以将参考文献省略，但文献综述绝对不能省略，而且应是文中引用过的，能反映主题全貌的并且是作者直接阅读过的文献资料。总之，一篇好的文献综述，应有较完整的文献资料，有评论分析，并能准确地反映主题内容。
论文综述范文写法如下：
1、标题
文献综述的标题一般多是在设计（论文）选题的标题后加“文献综述”字样。
2、提要或前言
此部分一般不用专设标题，而是直接作为整个文献综述的开篇部分。内容是简要介绍本课题研究的意义；将要解决的主要问题；如果本课题涉及到较前沿的理论，还应对该理论进行简要介绍；最后要介绍研究者搜集的资料范围及资料来源。
3、正文
这是论文文献综述的核心部分。应在归类整理的基础上，对自己搜集到的有用资料进行系统介绍。
撰写此部分时还应注意以下两点：
其一、对已有成果要分类介绍，各类之间用小标题区分。
其二、既要有概括的介绍，又要有重点介绍。根据自己的分类，对各类研究先做概括介绍，然后对此类研究中具有代表性的成果进行重点介绍。
4、总结
对上述研究成果的主要特点、研究趋势及价值进行概括与评价。此部分应着重点明本课题已有的研究基础（已有成果为自己的研究奠定了怎样的基础或从中受到怎样的启发）与尚存的研究空间（本课题已有研究中存在的空白或薄弱环节）。
5、参考文献
要求列出的参考文献不少于15篇，且外文文献不少于3篇，并按论文中的参考文献的格式将作者名、文献名、文献出处、时间等信息全面标示出来。
论文文献综述怎么写
文献综述论文范文如图所示：
文献综述的基本要求：
1、毕业论文（设计）文献综述是指学生在毕业论文（设计）研究课题或研究题目（初步）确定后，通过搜集、整理、阅读国内外相关学术文献资料，就与该课题或题目直接相关的主要研究成果、学术意义、研究方法、研究动态、最新进展等问题进行归纳总结、综合分析后所做的简要评述。
2、毕业论文（设计）文献综述所评述的学术文献必须与学生所撰写论文保持大体上的一致，必须对可能影响所撰写论文主要论点、政策建议或反驳依据等主要学术结论的相关文献及其主要论断做出清晰、准确、流畅的说明，必须保证综述本身结构的完整性，能够反映学生的利用学术文献的综合能力。
3、毕业论文（设计）文献综述是学生撰写毕业论文（设计）过程的有机组成部分，必须在论文指导教师的指导下完成；文献综述必须按学校要求的基本规范撰写。
论文类题目提交3000字左右的文献综述，设计类题目提交2000字左右的设计方案报告；文献综述的成绩综合纳入学生毕业论文（设计）成绩之中，未完成毕业论。
参考文献可以在百度学术中找到。 毕业论文参考文献规范格式一、参考文献的类型参考文献（即引文出处）的类型以单字母方式标识，具体如下：M——专著 C——论文集 N——报纸文章J——期刊文章 D——学位论文 R——报告对于不属于上述的文献类型，采用字母“Z”标识。对于英文参考文献，还应注意以下两点：①作者姓名采用“姓在前名在后”原则，具体格式是： 姓，名字的首字母. 如： Malcolm Richard Cowley 应为：Cowley, .，如果有两位作者，第一位作者方式不变，&之后第二位作者名字的首字母放在前面，姓放在后面，如：Frank Norris 与Irving Gordon应为：Norris, F. & .；②书名、报刊名使用斜体字，如：Mastering English Literature，English Weekly。二、参考文献的格式及举例1.期刊类[格式][序号]作者.篇名[J].刊名，出版年份，卷号（期号）：起止页码.[举例][1] 王海粟.浅议会计信息披露模式[J].财政研究，2004,21(1)：56-58.[2] 夏鲁惠.高等学校毕业论文教学情况调研报告[J].高等理科教育，2004(1):46-52.[3] Heider, . The structure of color space in naming and memory of two languages [J]. Foreign Language Teaching and Research, 1999, (3): 62 – .专著类[格式][序号]作者.书名[M].出版地：出版社，出版年份：起止页码.[举例][4] 葛家澍，林志军.现代西方财务会计理论[M].厦门：厦门大学出版社，2001：42.[5] Gill, R. Mastering English Literature [M]. London: Macmillan, 1985: .报纸类[格式][序号]作者.篇名[N].报纸名，出版日期（版次）.[举例][6] 李大伦.经济全球化的重要性[N]. 光明日报，1998-12-27(3).[7] French, W. Between Silences: A Voice from China[N]. Atlantic Weekly, 1987-8-15(33).4.论文集[格式][序号]作者.篇名[C].出版地：出版者，出版年份：起始页码.[举例][8] 伍蠡甫.西方文论选[C]. 上海：上海译文出版社，1979：12-17.[9] Spivak,G. “Can the Subaltern Speak?”[A]. In & L. Grossberg(eds.). Victory in Limbo: Imigism [C]. Urbana: University of Illinois Press, 1988, .[10] Almarza, . Student foreign language teacher’s knowledge growth [A]. In and (eds.). Teacher Learning in Language Teaching [C]. New York: Cambridge University Press. 1996. .学位论文[格式][序号]作者.篇名[D].出版地：保存者，出版年份：起始页码.[举例][11] 张筑生.微分半动力系统的不变集[D].北京：北京大学数学系数学研究所, 1983：.研究报告[格式][序号]作者.篇名[R].出版地：出版者，出版年份：起始页码.[举例][12] 冯西桥.核反应堆压力管道与压力容器的LBB分析[R].北京：清华大学核能技术设计研究院, 1997：.条例[格式][序号]颁布单位.条例名称.发布日期[举例][15] 中华人民共和国科学技术委员会.科学技术期刊管理办法[Z].1991—06—058.译著[格式][序号]原著作者. 书名[M].译者，译.出版地：出版社，出版年份：起止页码.三、注释注释是对论文正文中某一特定内容的进一步解释或补充说明。注释前面用圈码①、②、③等标识。四、参考文献参考文献与文中注（王小龙，2005）对应。标号在标点符号内。多个都需要标注出来，而不是1-6等等 ，并列写出来。求采纳为满意回答。
论文的参考文献写法如下：
一、[序号]期刊作者。题名[J]。刊名。出版年，卷：起止页码。
二、[序号]专著作者。书名[M]。版次。出版地：出版社，出版年∶起止页码。
三、[序号]论文集作者。题名〔C〕。编者。论文集名。出版地∶出版社，出版年∶起止页码。
论文的参考文献注意事项：
1、参考文献要以序号的形式出现在正文中和文末，且序号要保持一致。序号以在文中出现的前后为序。
2、如果某文献在文中数次被参考，则几处序号要保持相同，只是页码有变化。在文末只列出该参考文献一次即可，不必多次罗列。
3、每一参考文献的所有要素必须齐全，不可残缺，具体包括：主要责任者；文献题名；文献类型及截体类型标识（如专著M、论文集C、报纸文章N、期刊文章J、学位论文D、报告R、专利P等）。
参考文献作用：
1、研究基础
参考文献可以反映出论文的真实性和研究依据，也反映出改论文的起点。我们论文中的研究都是在过去的基础上进行的，这也表明了自己论文中的研究是有价值水平和依据的。
2、研究区别
标注参考文献也是为了把前人的成果区分开来。这能表明论文的研究成果是自己写的，虽然引用了前人的观点、数据或其他资料。 但是标注出参考文献不仅能体现出自己的研究能力，也能体现自己的创新和价值。
以上内容参考：百度百科--参考文献
论文： 题目:《A Contextualized Temporal Attention Mechanism for Sequential Recommendation》 地址： 序列推荐任务很少使用时间和上下文信息对h(h就是rnn，gru等序列建模网络输出的状态)进行加权，www这篇论文融合了上下文和时间信息的加权信号，一起看看吧，虽然笔者觉得这篇论文非常笨重。。 这篇论文的背景其实可以放在sequence recommendation任务中去看待，根据历史记录中用户的先后行为来预测用户的偏好对于现代推荐系统而言具有挑战性且至关重要。现有的大多数序列推荐算法都将重点放在顺序动作之间的传递结构上，但是在对历史事件对当前预测的影响进行建模时，很大程度上会忽略时间和上下文信息。 论文认为，过去事件对用户当前动作的影响应随时间推移以及在不同背景下发生变化。因此，我们提出了一个基于上下文和时间的注意机制，该机制可以学会权衡历史行为对行为的影响，不仅影响行为是什么，而且还影响行为发生的时间和方式。更具体地说，为了动态地校准自注意机制的相对输入依存关系，我们设计了多个参数化的核函数来学习各种时间动态，然后使用上下文信息来确定对每个输入遵循哪些weight kernel函数。 上面的说法可能有点晦涩难懂，下面结合一张图来描述一下以上图中所示的在线购物场景为例：系统获得了一系列用户行为记录，并且需要推荐下一组商品。 我们应该注意，在此场景中，我们假设这些交互行为不是彼此独立的， 这更好地反映了推荐系统只能访问脱机数据和部分用户行为记录的情况。好了，接着看上图中的场景，用户在过去的一段时间内点击来网球拍，手机，运动鞋，智能手环，然后在昨天一直在浏览手机，那么这个时候我们需要预估用户的下一次点击，这个时候的用户正想买一个手表，那么这个时候系统是给用户推荐运动手表呢，还是推荐电子手表呢，因为用户过去的浏览有运动类的物品和智能设备的物品。 按照时间的分段性来看：长期的历史记录表明用户对购物体育相关产品感兴趣。 现在，用户正在寻找手表，该系统可以推荐一些运动手表。 从本质上讲，长期的用户历史记录通常可能会携带稀少但至关重要的用户偏好信息，影响着现在的意图，而最近的交互操作应该会更能代表用户在将来的意图。 按上下文细分：由于用户仔细浏览几个智能手机（比平均时间间隔短得多的时间间隔），因此可以认为这些物品跟当前用户的偏爱非常相关，因此智能手表可能比传统手表更受青睐。 通常，用户浏览日志的某些时间段可能看起来是异构的，这个时间段里面充满了用户的短期兴趣偏好，用户在这个时间点上会以重复的方式专注于一小部分同类物品。 很容易理解，时间因素可以理解为用户的长期兴趣偏好，即使在很遥远的历史，也会对现在的兴趣产生影响，上下文偏好可以理解为用户的短期兴趣偏好，也就是用户在近期浏览的物品表征了用户现在的短期意图。说白了就是对用户进行长短期兴趣建模。 本来不想说这三个问题的，无奈部分论文说的太抽象了，或许是越抽象越容易中稿？ 说实话这篇论文在解释时间跟上下文关系的时候说的太晦涩难懂了，笔者看的也是很头疼，比如下面这段话： 首先，我们看第一个问题，我的理解就是用self-attention进行序列建模，第二个就是确定时间因素和上下文因素的影响，第三个就是综合考虑时间和上下文的影响。 还是直接看模型吧，扯一堆什么因果关系看得头大：用户空间 U ，大小为U；物品空间 V ，大小为V。 用户的历史行为序列为{ },其中 ={( , ), ( , ) , ... },其中 用户u的交互时间， 代表交互的物品。 模型的输入为包括窗口大小为L的用户历史记录:{ ( ) i: 0 -> L},当前需要推荐的时间戳 ,输入序列的embedding X表示： 同时将输入序列的时间信息使用时间戳差来表示： 模型整体上分为三个部分：content-based attention，temporal kernels和contextualized mixture 三层模型可以表示为： 其中， 根据content X来计算每个输入的权重，输出权重序列α ∈ ； 将时间信息 T 通过K temporal kernels计算每个输入的temporal权重β ∈ ； 从 X 中提取context信息，并结合前两个阶段获得的α 和β 来计算得到最终的contextualized temporal权重γ ∈ 。 最终被推荐的物品的表示为： 其中，F-out是一个feed-forward层。 这里用到的是self-attention机制，具体的细节不在赘述，只需要知道结果输出就行：其中 表示最后一个物品的输入embedding，其实就是用最后一个物品的embedding作为key，self-attention最后一层的状态 作为query来计算 的。 基于观察：用户随意浏览的物品对短期的影响会急剧下降，但是在长期来说仍有着重要的作用。用户仔细浏览过的物品对用户短期的兴趣有着重要的作用。 所以，文章提出了很多temporal kernels来建模这种时间变化，不同的kernel函数 : → 如下所示： (1) = ,假设一个用户操作的影响会随着时间指数下降，但是永远不会消失。 (2) ,假设一个用户操作的影响会随着时间而减弱，最终可以忽略不计。 (3) -alT + b,假设一个用户操作的影响会随着时间线性下降，之后的softmax操作会将某个时间段内的影响置为0。 (4) 假设一个用户操作的影响不受时间影响。 根据K个kernal函数{ },我们可以将 T 转为K个temporal权重集合： 作为下一阶段的输入。 这一阶段的目标是基于提取到的context信息融合前两个阶段获得的content和temporal信息。 使用Bidirectional RNN结构来获得context信息。从输入序列embedding表示X中，我们可以计算得到循环隐藏层的状态： 其中，⊕是拼接操作，C_attr是可选择的context特征（可以是特定推荐系统中每个行为的属性，表示行为发生时的上下文），本文中只使用了Bi-RNN的输出作为context特征。 行为i的context特征需要映射为一个长度为K的权重向量，每一个元素 都是这个行为经过 后的结果，使用feed forwaed层Fγ将它们映射到概率空间 ，然后经过softmax操作得到概率分布：最后将context和temporal信息进行融合：其中， , 其中，r是每一个item的分数，对于给定的用户，通过softmax层对item分数进行归一化，该层会在item表上产生概率分布，也就是进行多分类的意思。其中Ns是根据频率进行负采样的负样本。
论文： 论文题目：《Neural Graph Collaborative Filtering》 论文地址： 本论文是关于图结构的协同过滤算法，在原始的矩阵分解和基于深度学习的方法中，通常是通过映射描述用户（或物品）的现有特征（例如ID和属性）来获得用户（或物品）的嵌入。从而利用user和item的embedding进行协同召回。但是作者认为这种方法的固有缺点是：在user与item的interaction数据中潜伏的 协作信号（collaborative signal） 未在嵌入过程中进行编码。这样，所得的嵌入可能不足以捕获协同过滤效果。 让我们一起来看一下本论文是怎么利用数据中潜伏的协作信号的吧。 推荐算法被广泛的运用在各个领域中，在电商领域，社交媒体，广告等领域都发挥着至关重要的作用。推荐系统的核心内容就是根据用户以前的购买和点击行为来评估用户对一个物品的喜爱程度，从而针对每个用户进行个性化推荐。协同过滤算法认为历史行为相似的用户之间的兴趣是相同的，所以给用户推荐的是同类型用户的爱好，也就是UserCF，而ItemCF给用户推荐的是跟历史行为相近的物品。 传统的协同过滤方法要么是基于矩阵分解，要么是基于深度学习的，这两种方法都忽略了一个非常关键的信息---user和item交互的协作信号，该信号隐藏在user和item的交互过程中。原始的协同过滤方法忽略了这种信息，所以在进行user 和 item representation时就不足以较好的进行embedding。 本论文通过将用户项交互（更具体地说是二分图结构）集成到embedding过程中，开发了一个新的推荐框架神经图协同过滤（NGCF），该框架通过在其上传播embedding来利用user-item图结构。这种方法在用户项目图中进行高阶连通性的表达建模，从而以显式方式将协作信号有效地注入到embedding过程中。 在介绍模型之前先来讲解一下什么是useritem interaction以及什么是高阶的useritem interaction。 我们先看左边的图，这个图就是useritem interaction，u1是我们待推荐的用户，用双圆圈表示，他交互过的物品有i1，i2，i3。在看右边这个树形结构的图，这个图是u1的高阶interaction图，注意只有l > 1的才是u1的高阶连接。观察到，这么一条路径，u1 ← i2 ← u2，指示u1和u2之间的行为相似性，因为两个用户都已与i2进行了交互。而另一条更长的路径，u1←i2←u2←i4暗示u1可能会点击i4，因为他的相似用户u2之前已经购买过i4。另一方面，用户u1在l = 3这一层会更倾向于i4而不是i5，理由是i4到u1有两条路径而i5只有一条。 当然这种树结构是不可能通过构建真正的树节点来表示的，因为树模型比较复杂，而且结构很大，没法对每个用户构建一个树，这样工作量太大了。那么怎么设计模型结构可以达到跟这个high-order connectivity的效果呢，这个就要运用到神经网络了。通过设计一个embedding propagation layer来表示这种embedding 在每个层之间的传递。 还是拿上面那张图举例子，堆叠两层可捕获u1←i2←u2的行为相似性，堆叠三层可捕获u1←i2←u2←i4的潜在推荐以及信息流的强度（由层之间的可训练权重来评估），并确定i4和i5的推荐优先级。 这个跟传统的embedding是一样的，都是对原始的userID和itemID做embedding，跟传统embedding不同的地方是，在我们的NGCF框架中，我们通过在用户-项目交互图上传播embedding来优化embedding。 由于embedding优化步骤将协作信号显式注入到embedding中，因此可以为推荐提供更有效的embedding。 这一层是本文的核心内容，下面我们来进行详细的解读。 从直观上来看，用户交互过的item会给用户的偏好带来最直接的依据。类似地，交互过某个item的用户可以视为该item的特征，并可以用来衡量两个item的协同相似性。 我们以此为基础在连接的用户和项目之间执行embedding propogation，并通过两个主要操作来制定流程：消息构建和消息聚合。 Message Construction(消息构建) 对于连接的user-item对(u,i)，我们定义从i到u的消息为： 其中ei是i的embedding，eu是u的embedding，pui是用于控制每次传播的衰减因子，函数f是消息构建函数，f的定义为： 其中W1和W2用来提取有用的embedding信息，可以看到W2控制的i和u直接的交互性，这使得消息取决于ei和eu之间的亲和力，比如，传递更多来自相似项的消息。 另一个重要的地方是Nu和Ni，pui = 1/ 。Nu和Ni表示用户u和item i的第一跳邻居。 从表示学习的角度来看，pui反映了历史item对用户偏好的贡献程度。 从消息传递的角度来看，考虑到正在传播的消息应随路径长度衰减，因此pui可以解释为折扣因子。 Message Aggregation 聚合方法如下 ： 其中 表示在第一嵌入传播层之后获得的用户u的表示。激活函数采用的是leakyrelu，这个函数适合对pos和neg信号进行编码。 另一个重要的信息是 ,它的定义如下： 这个信息的主要作用是保留原始的特征信息。 至此，我们得到了 ，同样的方法，我们也能获得 ，这个都是first order connectivoty的信息。 根据前面的计算方式，我们如果将多个Embedding Propagation Layers进行堆叠，我们就可以得到high order connectivity信息了： 计算方式如下： 当我看到这里的时候，我的脑子里产生了一个大大的疑惑，我们在计算第l层的eu和ei时都需要第l-1层的信息，那么我们怎么知道ei和eu在第l层是否存在呢？也就是说出现u侧的总层数l大于i侧总层数的时候，我们如何根据第l-1层的ei来计算第l层的e呢？经过思考，我感觉应该是这样的，训练样本应该是一条path，也就是这个例子是u1 ← i2 ← u2 ← i4这条path，所以可以保证u1跟i4的层数l是一样的，所以不存在上面那个层数不匹配的问题。 ps:看到后面的实验结果才知道L是固定的所以每一层都不会缺失。 还有一个就是，不同层之间的W是不一样的，每一层都有着自己的参数，这个看公式就知道，理由就是我们在提取不同层信息的时候需要不同的W进行信息提取。 另一个疑惑是pui到底是不是每一个l层都一样？这里看公式好像就是指的是第一跳的Nu和Ni进行就计算的结果。 这部分内容是为了在进行batch训练的时候进行矩阵运算所推导的数学过程，其实跟之前我们讲的那个过程在数学上的计算是完全一样的，你想象一下，如果不用矩阵进行运算，在训练过程中要如何进行这么复杂的交互运算。 当进行了l层的embedding propagation后，我们就拥有了l个eu和l个ei，我们将他们进行concate操作： 这样，我们不仅可以通过嵌入传播层丰富初始嵌入，还可以通过调整L来控制传播范围。 最后，我们进行内积计算，以评估用户对目标商品的偏好： 采用的是pair-wise方式中的bpr loss：
论文： 论文题目：《Search-based User Interest Modeling with Lifelong Sequential Behavior Data for Click-Through Rate Prediction》 地址： 这是阿里妈妈发表在2020SIGIR上面的又一篇佳作，让我们来阅读一下这篇论文吧。 在CTR/CVR预估领域中，用户历史行为对CTR/CVR预估的建模是很有指导意义的，用户的历史行为序列中潜藏着用户丰富的”兴趣点“，用户的每一次行为都是某个方面兴趣的一种反应。比如我喜欢各种口红产品、喜欢洗面奶、但是又对某个牌子不是特别感兴趣，基于这些兴趣的驱动，我可能浏览、点击过很多相关领域的内容或商品，那这些历史行为是否对我未来行为的预测有帮助呢，答案是肯定的。正是基于上述这种主观的行为模式，我们才需要对用户的历史行为进行建模，用户行为队列越长，包含的用户兴趣也就越丰富，但是同样也会带来更大的挑战，其实用户的兴趣是发散的多元的，如何从发散多元的用户兴趣中找到真正对当前任务有帮助的兴趣是十分重要的。 在介绍这篇论文之前建议先去看一下阿里的另一篇论文MIMN，也是基于用户长序列进行CTR预估的论文，但是MIMN存在着几个问题，一个是因为，当用户行为序列的长度进一步增加（例如，增加10倍或比十倍更多）时，MIMN无法精确捕获给定特定候选项的用户兴趣。另一个是因为，MIMN不能很好的解决延时和存储这两个瓶颈上的棘手问题，也就是说部署到线上到时候如何才能做到延时跟其他轻量模型相近。 在淘宝中，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？阿里妈妈提出了SIM模型来进一步从用户丰富的长期历史行为队列中挖掘用户有价值的兴趣点，并且提供一种长行为序列线上服务化的可行性方案，接下来就来看看这篇论文吧。 模型总览： SIM分为两个阶段，这两个阶段都有自己的核心部分，文章中将长序列用户行为特征的建模分为了两个模块，即Genral Search Unit（GSU）和Exact Search Unit（ESU），这两部分就是两个阶段的核心模块了。先简单的介绍下这两个模块的作用吧。GSU如图所示，简单理解就是从几百上千的用户长序列中挑选出TopK个跟候选Item最相似的K个Item，类比与推荐系统中的召回模块，先降低长序列物品的长度，在进行后续任务。另一个是ESU，这个模块的作用是对刚刚GSU抽取出来对K个物品进行序列建模，得到一个能代表用户长序列兴趣对向量，并利用这个向量进行后面对排序。 GSU的主要任务是从长度为T的序列中抽取出K个跟候选item相似的item，GSU有两种方式来选取TopK个物品，分别是hard-search 和soft-search。前面也提到了GSU类比于推荐系统中的召回阶段，而在多路召回中，一般也有基于Embedding的召回和基于策略规则的召回，其中hard-search就是基于规则的召回，soft-search就是基于Embedding的召回，下面来详细讲一下这两种方法。 这种方法比较直观而且实施起来比较简单，就是我们从候选行为序列中按照给定规则筛选出与当前目标任务相关的候选集，举个例子，我在淘宝上历史浏览过很不同种类的商品（比如电子产品、口红、男鞋等等），当候选广告是iphone12时，hard-search方法会从我历史行为队列中筛选出电子产品相关的行为进行建模，用于PCTR预估，而口红、男鞋大概率就不会对这次预估产生影响，通过上面这个例子大家应该能明白这种基于规则和策略的思路。论文中指出hard-search方法使用的是商品类别作为筛选的标准。 这种方法是基于Embedding的抽取方式，从上面的模型图的左侧可以看到整个soft-search的结构。这个部分也是一个子模型，模型的输入是候选Item和长序列，目标是CTR预估，用这种方式来学习候选Item和长序列Item的embedding信息。有了Embedding后，就可以将候选广告embedding和历史行为中的embedding算一个内积相似度，利用近似最近邻检索方法（论文中用的是ALSH）来得到topK相关的候选行为序列。 在这个子model中，DNN的输入是候选item 和Ur的concat，其中Ur：注意，如果用户行为增长到一定程度，则不可能将整个用户行为直接输入模型。 在这种情况下，可以从长序列用户行为中随机采样子序列集，这些行为仍需遵循原始序列的相同分布。 这种方法的缺点就是计算开销比较大，不如基于规则的hard-search方便，优点就是效果应该会更好一些。但是论文中也提到了两种方法在效果上的差异不是特别的大，所以最后基于性能和效果的折中，采用了hard-search这种比较简单的方式。 从模型整体上来看，这部分主要是利用从GSU抽取出来的K个Item得到一个能代表用户长期兴趣的向量，并配合其他特征送的DNN里面做整体的CTR预估任务。 论文中对这K个来自GSU对item是用self-attention进行序列建模的： 其中 为： concat中第一个是原始的embedding，第二个是关于时间的embedding。 根据self-attention的方式，我们又得到了一个向量h(K)。 这里，第二个子model也进行了ctr预估，特征是模型图上面画出来 input，还有个dien，dien前面的文章以及介绍过了，就不再赘述。 最后的loss是： 其中α和β是控制损耗权重的超参数。 在我们的实验中，如果GSU使用软搜索模型，则将α和β都设置为1。具有硬搜索模型的GSU是非参数的，并且α设置为0。 广告推荐系统对线上的计算耗时要求还是比较严格的，因为要保证用户最基本的用户体验。随着用户行为序列的进一步增长，采用传统的方式直接对长序列用户行为进行计算耗时和内存占用会增长的特别快，所以需要有针对性的对线上系统进行一定的升级和改造。文章提到在hard-search和soft-search的选择中，是基于大量的离线实验结果最终决定采用hard-search这种方便快捷有效的方式，同时信息损失也在可以接受的范围内。 一般的线上部署的系统架构图是这样： 为了让SIM能更好的给用户带来低延时的体验，阿里构建了SIM的Online Seving结构： 可以看到对于用户的行为序列，论文采用的是对每个用户采用的是两层索引的结构：key-key-value，第一个key是user_id，第二个key是category ids，value是用户行为序列中属于对应类别的item。用这种方式可以很快的通过这个索引树找到属于统一category的物品。线上A/B Test实验效果： 用户的历史行为对于整个CTR/CVR预估任务越来越重要了，如果不考虑时间和存储，那么把所有的序列输入到模型中作为长期兴趣关键点是可以精确的定位出用户的长期兴趣的，但是由于性能的原因就不得不考虑用特殊的方法对这个长序列进行一次筛选，筛选的K个物品都是跟候选Item相似的物品，能做到裁剪的效果还不会带来CTR预估的损失。在进行筛选过程中还分为了两种方法，但是为了部署到线上，就要考虑性能最好的hard-search方式进行TopK筛选任务，这种方式跟Embedding筛选的效果是差不多的，但是速度比Embedding快，所以采用这种方式。 未来应该还会有更多针对序列推荐的论文，单纯的对长序列阶段还带来一定的兴趣偏差，所以如何有效挖掘用户更丰富行为特征背后的商业价值是需要好好思考的。