Kaggle美数模发表论文

互联网+（创新创业类大赛，目前可以说是最火的比赛之一，甚至一些学校让学生用毕设参赛，和挑战杯的参赛在部分项目上重叠，高新技术、工程、新材料、互联网、人工智能等项目比较吸引人）（综合类+偏理工）挑战杯-大挑（学术作品大赛，部分顶级高校的作品可以说是一个实验室的结晶了，比如一个学术作品转化成了多少专利、多少paper、有没有创造出什么价值？一般也是理工科专业的学术作品容易做好）（综合类+偏理工）挑战杯-小挑（创业大赛，和互联网+类似，很多企业都愿意与互联网+或者人工智能等项目挂钩）（综合类+偏理工）ACM-ICPC（团队编程大赛，应该是本科阶段可以参与的含金量较高的程序设计大赛赛事，但是在211以下的院校普及程度一般，目前广西赛区由桂电和广西大学开始积极筹备ACM类的程序设计大赛，于18年五月第一次举办省赛，隶属于CCPC。在今年10月底的时候，桂电成功举办了一次CCPC的分站赛，虽然其中出现了一些问题，不过这也代表了西部地区越来越重视程序设计大赛了。然而，很多沿海地区省份，早就以WF作为最终的目标了，比如杭州电子科技大学就是一所值得所有普通高校学习的一所大学。由于良好的训练，去年和今年都有着进入WF的好成绩。不过很欣慰这19大竞赛中没有忘记这个比赛，在以前的很多所谓的国家级A类榜单中，都没有这项项目，让很多老师感到非常恼火。）（计算机/软件工程等）数学建模（应该是普及程度或者说参与学校最广的基础学科赛事之一，其实都想把这个之一去掉。可能你问一名稍微成绩好点的本科生，问他有没有参加或者听说过数学建模竞赛，我想大多数人都会给予肯定的回答。不论是官方组织、还是培训机构、甚至是独立个人，在数模培训上投入的应该是最多的了。这项比赛影响了无数学生的保研资格、国奖特奖评选、甚至考研复试。其投入成本低，获奖收益高，成了大多数大学生都想参与的一项赛事。而且比赛参与院校普度众生，不管是清北还是大专都有院校参与，也都有院校获得国家一等奖。2018年的国赛查重，查违纪，死掉了很多队伍，这也为未来的比赛蒙上了一层阴影。。。）（综合类+应用数学/统计学+经管+计算机/软件工程）电子设计（这项比赛是电子类在19大竞赛中的血统比较纯正的一个比赛了，桂电在这个方面是十分重视的，每年大概能出10+的国家一等奖。最近这些年中，桂电和东南大学、电子科技大学并列全国一等奖数全国第一。从另外一个角度来说，电子设计竞赛更多地考察一个学校的精心准备程度，这一点和数学建模竞赛有点类似，精心准备的院校肯定比裸考院校要强很多。比如去年令人惊艳的中国计量大学出现了满额全国一等奖的情况。作为电子系的一名成员，在本科阶段基本上没有参与过电子设计竞赛多多少少有一些可惜，不过比赛的大体流程还是清楚一些的。比赛分为第一阶段和第二阶段。第一阶段为四天三夜做一个作品出来，要求学生在不受外界干扰的前提下独立地做出来。做好上报，进入第二阶段，也就是彻底封闭设计电路阶段，很多基本功不扎实的学生，这一块就凉凉，这样很难拿到国家一等奖）（电子/自动化）化学实验（不敢乱写，我没有参与过任何和化学类相关的赛事，只能作为外行来看看这个比赛了，这个比赛的介绍：中国全国大学生化学实验邀请赛是我国高等学校化学学科最高级别赛事，由教育部高等学校化学教育研究中心主办。该赛事旨在推动我国高等学校化学实验教学模式、教学内容、教学方法的改革，探索培养创新型化学人才的思路、途径和方法，以提高我国化学实验教学总体水平。所以，放在评价体系表应该是不错的选择）（化学类、化工类）临床技能（不能乱写的比赛，同样属于知识盲区，如果有医学部的朋友参与过这项比赛，可以补充一些自己对于比赛的看法。看了一些互联网上的资料，认为这应该是医学学生比较重要的一项比赛了，所以项比赛放在这个榜单里面也是比较合理的）（医学类）机械创新（机械创新设计大赛(这个比赛被传为是大学生四大竞赛之一。是教育部高等教育司批准，教育部高等学校机械学科教学指导委员会主办的一项赛事。在传统工科里面认可度也是非常高的一个比赛，而且这个比赛很注意创新与模型的实物展示。因为都是同一个题目，可能全国好多队伍做的千篇一律，如果你有出其不意的想法，那么就是团队脱颖而出的机会。我觉着这个比赛很重要的是过程虽然艰辛，但如果能咬牙坚持下来，可以学到很多东西，而且如果能拿到国一的奖项，也很可能会被珍藏在学校的展览馆呢哈哈）（机械类、机电类、电子/自动化类）结构设计广告艺术智能汽车交通科技三创赛节能减排工程训练物流设计外研社杯-演讲（我觉得通过外研社杯演讲大赛来作为英语比赛的代表，虽然可行，但是也值得讨论。首先，演讲比赛就不单单是外研社杯一家，有很多类似的比赛，比如21世纪杯同样含金量也不错。其次，外研社杯还有新增加的阅读和写作大赛，我觉得也非常考验一个学生的功底。再次，外研社杯还有一项我觉得最有意思的比赛，即为辩论赛，而且赛制比较长，更能筛选出英文水平较好的综合选手。不过演讲比赛确实给的指标很少，一所大学最多派其中1-2名选手参赛，基本上都是层层选拔，层层PK，可以算得上是每个学校的佼佼者。最后不论是省赛还是国赛都非常考验一个选手的综合素质。在这场比赛中，我止步省级最终PK环节，没拿到特等，不过也算满足了，和其他专业演讲的选手相比，我在最终决赛和他们还有一些差距。外研社杯的演讲为即兴演讲，基本上拿到题目后准备一小小就需要上台演讲，因此非常考验一个学生的背景积累和英文功底。如果不是我抽到的题目和我本身有很大关系，我想或许在比赛中，我未必比得过很多选手。还有演讲的仪表也挺重要的，由于有做报告的经验，在台上不算紧张，演讲还挺流畅的。后面就是回答评委问题，这个就需要听力过硬了，如果能流畅回答所有的问题，那么会给评委一个良好的印象。大概这个比赛就是如此吧，挺有意思的）职校技能上述19大竞赛在最近这些年可能会成为高校越来越重视的比赛，也就是在竞赛评奖评优的活动中逐渐往这上面靠拢。但是这并不意味着每所大学对于竞赛等级的划分都是如此。所以最为关键的还是自己寻找自己学工部关于评奖评优相关规定，再结合这个19大竞赛榜单，做出正确的取舍。不过总体而言，这些比赛的还是主要以工程类学科为导向，因此在工科大学就读的同学，在很多学科竞赛上参加的氛围会较为浓厚一些。最后，我来谈谈我对于本科生竞赛的特点的总结，我将大学生学科竞赛主要分为以下三类：第一类：学科理论型竞赛这一类比赛大多为考试型的比赛，而且一般为个人赛。当然也有类似程序设计大赛这样的团队赛。这项比赛非常看重一名学生的理论功底以及基本功扎实的情况。所以参与这类比赛想要取得较为出色的成绩，一般而言是不太容易的，而且比较令人头疼的是，这一类比赛在很多高校的文件中和其他类型的比赛相比，往往不是特别受到重视，因此有可能出现吃力不讨好的现象。这类比赛由于注重基本功，甚至吃老本的情况出现，因此决赛一等奖的选手大多来自本科不错的院校。如果自己的基础不是特别扎实，除非特别感兴趣之外，不建议在这上面钻太多的牛角尖，很有可能出现效率低下甚至对这个学科失去兴趣的可能。对于本科生来说，这类比赛基本上选择一项钻研即可，除非基础十分扎实。而且，不建议跨专业参与，强行越级打怪这样的事情出现也不太好。比如工科生作死参加一些数学类比赛就会非常难受，当然想感受氛围除外。这类比赛的获奖名单很大概率就是学校实力排名榜单。比赛的结果一般也为绝对实力，当然在判卷等问题上可能存在一定的误差，但是还是相对公平的。代表比赛：丘成桐大学生数学竞赛（这个大家看看就好。。。数学巨佬无视我吧）、ACM-ICPC、CCPC、全国大学生周培源力学竞赛、全国大学生数学竞赛、全国大学生英语竞赛、外研社杯全国大学生英语（阅读、写作、演讲、辩论）大赛、中金所杯全国大学生金融知识大赛等。第二类：学科应用型竞赛这一类比赛同样是短时间（一般为3-4天）作品赛，作品的形式可能是一篇学术报告（比如数学建模），也可能是提交一个可以实现一些功能的作品（电子设计、机械创新）甚至可能只是一张海报或者一份PPT。这类成果多为中小型成果，并且比较粗糙，无法真正实现应用甚至转化成产品，但是可以较好地反映学生解决问题的能力。这类比赛一般是团队赛，也是大学生主流竞赛。绝大多数参与过竞赛的本科生一般也是参与这一类型的比赛，即通过几天几夜的时间，完成一个项目，然后提交进行评审。这类比赛对于学生的基础有一定的要求，但是没有学科理论型竞赛要求那么苛刻。这项比赛由于存在团队合作，以及开放性比赛，因此也考察了学生软实力的水平。比如，文献查找、团队沟通、学术写作等能力，这与大学生甚至未来做科研都有一定的联系。所以，这类型比赛如果取得成绩不错，会得到老师的青睐。同时也可以注意到，相当多的加分甚至和保研挂钩的比赛也和这类比赛相关，数学建模比赛由于出题的普及型几乎快成了本科生必参加的一类比赛了。准备这类比赛，通常也是周期性准备，一般是大一准备，大二上第一次比赛，大三上出一个比较好的成绩。由于考察的知识比较冗杂，因此对于知识的深度可能不如第一类比赛要求那么好，掌握好课内的东西，融会贯通，适当学一些新东西就问题不大了。最重要的是，组一个靠谱的队伍。好的队伍，基本上就是最终成功的一半。这类比赛的评价存在一定的主观性，由于这类比赛的作品通常十分具有借鉴意义，所以该项赛事的传统强校一般也会一直强下去。而且，由于对基本功要求并不是特别高，因此只要学校愿意重视愿意投入这项赛事中去，起色会非常快。比如桂林电子科技大学在电子设计大赛上，可以算得上TOP10甚至TOP5的高校，这就是传承和重视的力量。这类比赛主要为工科类比赛，因此获奖名单非常具有院校学科特点，电子设计大赛一般就是电类院校牛逼，结构设计大赛一般是土木强校厉害，光电类竞赛也是光学工程牛校更有可能独占鳌头。总之，对于本科基础一般，但是想好好学习专业的同学，这类比赛是最适合不过的比赛，不仅可以掌握一定的理论知识也可以拥有一定的工程能力。代表比赛：全国大学生数学建模竞赛、美国大学生数学建模竞赛、全国大学生电子设计竞赛、全国大学生机械创新设计大赛、全国大学生结构设计竞赛等。一些企业级的比赛，如阿里巴巴天池大数据平台、Kaggle平台也是极好的。第三类（2.5类+3类）：创新创业及实践类（可能不能算做狭义的学科竞赛，但是由于存在很大的影响力姑且放这里吧）如果说从微观到宏观，那么理论、应用、实践则是不断地把一个知识点综合起来，最终走向社会，造福人类。这类比赛的特点通常是周期十分长，短则几个月，长则一年甚至两年的准备周期。比如大挑和小挑，基本上都是隔一年参赛，但是想要获得很好的成绩，基本上需要尽早准备，并且需要花费大量的心血去做一些有实际意义的作品出来，这一点是与第二类比赛截然不同的地方。这类比赛应该来说是最为锻炼一个人的综合实力了，大挑的最终作品，可以认为基本上是一个课题组对这一两年做的相关学术成果的一次展示，比如论文、比如专利、比如产品应用到社会中与相关部门的备忘录。从0到1再到无穷大，每一步的心血只有自己才知道。类似节能减排等申报类的比赛，也基本上必须拿出比较硬的成果出来，才能在所有申报作品当中脱颖而出，而准备作品也不是和电子设计比赛一样，有好的命题可以马上去做，而应该去思考社会上的痛点问题，深入解决。创业类大赛，分为不同的赛道，有些是创意类，可以天马心空但是也需要脚踏实地。有一些是初创类，更加看重核心竞争力的潜力。而已经运营一些时间的企业，则更加看重生存能力和技术转化能力。这类比赛最大的缺点就是，投入其中，可能会花费较多的时间，对于学业本身来说会受到一定的影响，因此对于深造的同学，还是更多地喜欢参与第二类比赛。所以反过来说，对于已经读研的学生，不妨考虑第三类比赛，这类比赛更加注重自己转化能力，学了这么多东西，也应该真正拿出来用一用了。总而言之，这类比赛还可以细分两类。第一个我称为2.5类吧，类似节能减排这样的申报赛，也就是申报一个大作品去进行评选。而大挑+小挑+互联网+比的则是一个系统，这不是某个作品就会起到决定性的作用。可能你们的作品、可能你们的人气、可能你们答辩的风采、甚至可能是你们演讲的PPT都会影响到最终的结局，不管怎么说，享受比赛吧。这类比赛虽然存在“黑幕”、“作秀”这样的弊病，但是总的来说，应该是代表大学和社会交汇的一个很好的接口吧。代表比赛：“挑战杯”全国大学生课外学术科技作品竞赛（大挑）、“挑战杯”中国大学生创业计划大赛（小挑、创青春）、中国“互联网+”创新创业大赛、全国大学生节能减排社会实践与科技竞赛等。一些地方政府或者一些投资公司承办的创新创业大赛也值得大家参与，不过难度或许就有着更高的要求了。

最近挤出时间，用python在kaggle上试了几个project，有点体会，记录下。

EDA，也就是对数据进行探索性的分析，一般就用到pandas和matplotlib就够了。EDA一般包括：

在这步完成之后，要对以下几点有大致了解

数据预处理，就是将数据处理下，为模型输入做准备，其中包括：

理论上来说，特征工程应该也归属于上一步，但是它太重要了，所以将它单独拿出来。kaggle社区对特征工程的重要性已经达成了共识，可以说最后结果的好坏，大部分就是由 特征工程 决定的，剩下部分应该是 调参 和 Ensemble 决定。特征工程的好坏主要是由 domain knowledge 决定的，但是大部分人可能并不具备这种知识，那么只能尽可能多的根据原来feature生成新的feature，然后让模型选择其中重要的feature。这里就又涉及到 feature selection , 有很多方法，比如backward,forward selection等等。我个人倾向于用 random forest的feature importance ， 这里 有论文介绍了这种方法。

Model Ensemble有 Bagging , Boosting , Stacking ,其中Bagging和Boosting都算是 Bootstraping 的应用。 Bootstraping 的概念是对样本每次有放回的抽样，抽样K个，一共抽N次。

最后是我的两点心得吧

这篇文章是参加kaggle之后的第一次总结，描述了下kaggle的步骤，通用的知识点和技巧。希望在未来一个月中，能把xgboost和stacking研究应用下，然后再来update。希望大家有什么想法都能跟我交流下~~

update: 更新了关于类别特征的处理方式以及Boosting和Bagging的看法，还有stacking的内容。

在大学里辩论赛是应该参加的。辩论赛对一个人综合能够力有很大的锻炼，比如思维能力、临场应变能力、语言组织能力。

我在大一的时候就参加过系里的辩论赛，全系九个班我们班获得了第二名。针对每场比赛的辩论话题，我们提前也是做了不少准备。通过上网或者去图书馆查找资料，这也让我们积累了很多知识。

辩论的过程中，一辩、四辩还是比较好把握的，一个提出观点、一个总结观点。我是作为三辩选手参赛的，三辩的作用是既需要阐述清楚己方观点，又需要击倒对方辩友的观点。这就需要有快速的思考能力、语言组织能力以及现场应变能力。

整场辩论下来，感觉整个人都是虚脱的。不过收获也是很大，还是很值得参加的。而且后来我还发现在公众场合无论是发言还是答辩，都能够应对自如。

在大学里知识技能大赛是应该参加的。知识技能大赛可以考验一个人综合知识的掌握程度，可以让自己查缺补漏，认识到自己的优势和不足。

好多知识技能大赛都是由一些单位和大学合办的，参加这种类型的比赛既是对自己的一种磨练还能够增长见识 。有的比赛会有证书和奖金的，这也是其中吸引人的地方。

三月份在北京大学举办的第三届全国大学生环保知识竞赛，有191万大学生报名参加。通过多轮选拔，评出特等奖402人，一等奖1162人，二等奖2236人，三等奖4549人。每个获奖人员都会有各自的学校颁发证书，这是一项很大的荣誉。

大学生参加这种知识竞赛就非常的有意义，既对环保知识有了全面的学习，又增强了爱护环境的意识。

太多了。可以参加电子设计大赛，这个与你专业关系最大。 也可以参加机电大赛，也能上手。 还有数学建模，也是个不错的选择。 英语的话每年都有全国大学生英语竞赛，试卷形式的，不是演讲的。也很容易得奖。 还有大学生KAB创业基础，这个是很多人的，一个主要人，还有很多合伙人。 至于其他的娱乐性的比赛，看你兴趣了，反正我是不屑。娱乐娱乐也无所谓。不过我还是把精力都投到那些比较有实用意义的比赛上了。还有比赛不要图多，要图精。你四个校级三等奖，也不如人家一个省级一等奖含金量大。上面的那些比赛出了数学建模我都参加过，因为数学建模与我们校电子设计大赛冲突了，所以没参加。可惜啊，一个也没获得省奖。今年夏天要参加省里的电子设计大赛，希望获奖吧。