这是一个系列的数据分析相关项目，包括环境搭建，数据分析，分析代码，分析报告等。目前数据来源于爬取到的100，000+数据
文章主要介绍相关的方法和原理，也算是自己对于大数据的一个初步的认识。

代码不会涉及具体的数据信息。如果需要相关的数据，可以参考以下文章自己爬取相关的数据信息：

某加密到牙齿的APP数据加密分析
攻城略地 再下一Porn

安装参考的是《Python + Spark 2.0+Hadoop机器学习与大数据实战》（林大贵 著），首先吐槽一下，林大贵的几本书前几章的内容完全一样，尤其是上面提到的这本与《Hadoop + Spark大数据巨量分析与机器学习实战》，两本书前7章内容完全一致。
买了两本书其实相当于买了一本半，并且重复的都是非常基础的部分。对于整本书来说倒是降低了写作的难度和时间，并且两本书的实例也基本一致，不过使用的语言略有不同。
书上介绍的安装版本比较老旧，也没有必要去安装一个老旧的版本。所以这里我安装的是3.3.0 具体的安装流程可以参考这个链接：http://hadoopspark.blogspot.com/2015/09/4-hadoop-26-single-node-cluster.html

不过需要注意的是里面的几条命令可能稍微有些问题： 使用下面的这条命令生成的key文件对应的host是本机的主机名：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

如果系统没有设置hostname，可以使用下面的命令生成key：

ssh localhost ssh-keygen -t rsa

两者的区别在于第一条命令生成的是username@hostname，第二条名称生成的是username@localhost