kaggle比赛论文发表

参加过几次，只拿过几个前10%。

下面是我的一些个人经验：

1. 一定做Ensemble，甚至是对submissions做ensemble。

2. 目的如果单纯是拿好的排名，那么就找人多的比赛参加，因为那些参加人数上千的比赛里面大批僵尸参赛者，超过他们就可以进25%了。

3. 对大多数比赛来说，Feature Engineering比选用什么模型更重要

4. 多看论坛，大家会在比赛进行中讨论很多泛泛的思路，对自己可能有帮助。有时候会有人发布比较好的Beat the benchmark代码，仔细思考为什么这个模型能够work，在上面涂涂改改有时候效果更好。

5. 永远相信自己的cross validation结果，甚于public leaderboard，结束前后的榜单常常震动巨大，具体例子参见 Description - Africa Soil Property Prediction Challenge 和 Description - Higgs Boson Machine Learning Challenge6.

每次比赛最有价值的东西就是结束之后的方法分享帖，大家的方法都很不一样，挑一个说得比较全面清晰的方法，自己尝试重现一个一样或者接近的效果，然后再尝试改进它，这个过程能学到非常多东西。

Kaggle主要是以Data Mining的比赛为主，那么这个答案就非常直接了：Feature Engineering无数经验告诉我们，做Kaggle比赛如果是抱着Machine Learning的态度，沉迷于facny的模型而忽略数据本身，一定会死得很惨很惨！

当然，基本的ML知识还是有的。在比赛中，最常用的分类器一般是Gradient Boosting Tree(GBDT)和Random Forest（对，你没看错，不是那个在教科书中推Dual时让很多人痛不欲生的SVM）一些常见的预处理技巧，比如PCA，KMeans，TF/IDF，Hashing等等都还是必须的。这里就不展开讲了。

最后，但是非常关键的一点是Ensemble 从KDD Cup到Imagenet，我从来没见过ensemble不会改善结果的情况，只是多与少的问题。不做ensemble就意味着你自己告别了一大块宝藏。