天天看点

大数据竞赛平台——Kaggle入门

 在学习了一些数据挖掘和机器学习的算法之后,需要积累实际开发经验。在实践的过程中不仅需要自己摸索,还需要向牛人学习和请教。Kaggle就提供这样的数据平台,企业或者研究者可以将数据、问题描述、期望的指标发布到Kaggle上,开发者其数据下载到本地,分析,处理后将结果上传,Kaggle将结果排名显示,有的比赛设有资金。Kaggle还有活跃的讨论区,供大家交流。

如何使用Kaggle

 我们先来看看,Kaggle的具体使用方法。在竞赛界面中​​https://www.kaggle.com/competitions​​,可看到比赛分类:Getting Start,Playground,Featured,Research等(用不同颜色区分).建议初学者从Getting Start级别开始,在这个级别上可以看到更多的教程和代码分享,题目也比较简单,适合入门.

大数据竞赛平台——Kaggle入门

competitions

 以参赛队最多的Tinanic沉船问题为例.​​https://www.kaggle.com/c/titanic​​.它的目标是预测乘客是否幸存.

大数据竞赛平台——Kaggle入门

Titanic

 界面中提供了问题描述(Overview),数据下载(Data),示例代码(Kernels),讨论区(Discussion),排行榜(Leaderboard),和规则(Rules).

 数据一般是csv格式,它提供了含用条件和结果是训练样本(train.csv),只有条件没有结果的测试样本(test.csv),开发者用训练样本训练出模型,并对测试样本进行预测,预测的结果根据格式要求(gender_submission.csv)保存成文件,上传到Kaggle网站,网站给预测结果评分并排名。

 Kernels中有开发者共享的解题思路和代码,大多数是用Python或R语言实现的。

大数据竞赛平台——Kaggle入门

Kernels

 例如Omar El Gabry的A Journey through Titanic就是一个很好教程,它包含了读取数据,处理数据,导出结果的整个过程。用seaborn库图形化分析各个属性(见下图),使用sklearn库作为数据挖掘工具。其中有对数值类属性均值和标准差的计算,对枚举类属性的拆分/组合,处理各种缺失值,以及用人类常识调整特征,比如将父母兄弟配偶统一归入家庭关系,将16岁以下的男女统一归类为儿童等等,还计算了每个属性和结果的相关系数,是一个非常好的特征工程入门范例。在算法方面,它使用了sklearn提供的逻辑回归,SVM,随机森林,最近邻,朴素贝叶斯等方法训练。

大数据竞赛平台——Kaggle入门

seaborn

 训练之后开发者可通过Submit Predictions上传自己的预测结果(注意Submit Predictions按钮登录后才显示),就可以看到排名了。

这里提供了大量的数据,我们可以借此尝试求解各种类型的问题,同时参考他人的经验分享,快速提高实践能力。当再拿到一份新数据时,至少有一个思路。

为什么用Kaggle

 在网上看过一篇文章,题目大概是《Kaggle对找工作有什么好处》,其中的答案是“没有”,因为初学者很难在Kaggle中拿到名次,参与程度可深可浅,无法通过它判断你的水平。我觉得Kaggle不是一个贴标签的东西,可以把它作为练习的场地,以及和高手学习机会。

 我们之前看到的书基本都是一个算法,一个算法的讲,当学习了一些算法之后,它们是零散的点,需要在用的过程中把这些点串起来,具体应用中有很多坑,需要自己踩一遍,和照着书打代码是完全不同的,而Kaggle正好给我们提供了这样的数据和评价体系。

 有人说,那我也可以自己拿爬虫抓数据啊,而且我可以找我更有兴趣的数据来做.对于自己找的数据,当对预测结果满意的时候,很难判断到底是数据本身的信息量不够,还是算法不好.Kaggle上是很多人同时比赛,只要拿自己的成绩和Top1的比一比,就能判断是什么问题了,而且很多人会在Kernels中公布算法,在Discussion中讨论,我们也可以在其中提出自己的问题。最重要的是这个过程中,你和他们在思考同一个问题,这种学习即不是填压式的,又可以给你引导。如果能够做到排名靠前就更好了。

Kaggle遇到的问题

 使用Kaggle中遇到的最大问题连不上外网,比如:注册后,在邮箱中点击激活时,出现"You did not enter the correct captcha response. Please try again",这是由于连接google失败导致的。不过只有在注册,下载,上传文件时需要连接外网。

 现在访问外网越来越难了,建议买一些收费的流量(注册激活用不了一两兆),有的工具第一次注册会送你几百兆流量.比较麻烦的是Kaggle的数据都是存在google storage上的,所以下数据时也要连外网.不过像上例中的纯文本数据,也用不了几百K.

继续阅读