所谓“伪娘”，即通过女装、化妆等手法让外人认为是女性的男性，我们通常可以在各地的漫展上看到相当数量的“伪娘”，这也是二次元文化中的萌属性之一。
而“药娘”则不同，简单来说就是心理性别为女，生理性别为男的跨性别者，他们通常是依靠激素药物改变内分泌，从而让自己身体特征逐渐接近女性。这个群体的人数非常稀少且又特殊，直至去年（2016年？根据参考链接文章编辑时间推测。）才在网络上出现相关讨论，但目前并没有引起社会的广泛关注。
Porn Data Anaylize — 上传者 分类信息分析(github)
'''
视频作者 视频分类信息分析
http://www.h4ck.org.cn
by obaby
obaby@mars
email:root@obaby.org.cn
date: 2020.09.04
'''
from pyspark.sql.functions import col
import altair as alt
import pandas as pd
from matplotlib import pyplot as plt
%matplotlib inline
csv = spark.read.option("header",True).csv("hdfs://localhost:9000/data2/porn_data_movie.csv")
csv.printSchema()
root |-- id: string (nullable = true) |-- create: string (nullable = true) |-- update: string (nullable = true) |-- name: string (nullable = true) |-- describe: string (nullable = true) |-- source_id: string (nullable = true) |-- publish_time: string (nullable = true) |-- play_count: string (nullable = true) |-- good_count: string (nullable = true) |-- bad_count: string (nullable = true) |-- link_count: string (nullable = true) |-- comment_count: string (nullable = true) |-- designation: string (nullable = true) |-- category_id: string (nullable = true) |-- porn_site_id: string (nullable = true) |-- uploader_id: string (nullable = true) |-- producer: string (nullable = true)
csv.select('name', 'describe', 'uploader_id').show()
Porn Data Anaylize — 视频数据初探
'''
--------------------------------------------------------------------------------
福利数据解析
基础数据分析，标题分词，词频统计
-----------------------------------
by:obaby
email: root@obaby.org.cn
blog:http://www.h4ck.org.cn
===================================
参考链接：https://sparkbyexamples.com/pyspark/select-columns-from-pyspark-dataframe/
-------------------------------------------------------------------------------
'''
import jieba
# 通过spark read csv格式文件，从csv header解析数据结构
csv = spark.read.option("header",True).csv("hdfs://localhost:9000/data2/porn_data_movie.csv")
# 数据格式
csv.printSchema()
root
|-- id: string (nullable = true)
|-- create: string (nullable = true)
|-- update: string (nullable = true)
|-- name: string (nullable = true)
|-- describe: string (nullable = true)
|-- source_id: string (nullable = true)
|-- publish_time: string (nullable = true)
|-- play_count: string (nullable = true)
|-- good_count: string (nullable = true)
|-- bad_count: string (nullable = true)
|-- link_count: string (nullable = true)
|-- comment_count: string (nullable = true)
|-- designation: string (nullable = true)
|-- category_id: string (nullable = true)
|-- porn_site_id: string (nullable = true)
|-- uploader_id: string (nullable = true)
|-- producer: string (nullable = true)
Porn Data Anaylize — Hadoop安装
这是一个系列的数据分析相关项目，包括环境搭建，数据分析，分析代码，分析报告等。目前数据来源于爬取到的100，000+数据
文章主要介绍相关的方法和原理，也算是自己对于大数据的一个初步的认识。
代码不会涉及具体的数据信息。如果需要相关的数据，可以参考以下文章自己爬取相关的数据信息：
安装参考的是《Python + Spark 2.0+Hadoop机器学习与大数据实战》（林大贵 著），首先吐槽一下，林大贵的几本书前几章的内容完全一样，尤其是上面提到的这本与《Hadoop + Spark大数据巨量分析与机器学习实战》，两本书前7章内容完全一致。
买了两本书其实相当于买了一本半，并且重复的都是非常基础的部分。对于整本书来说倒是降低了写作的难度和时间，并且两本书的实例也基本一致，不过使用的语言略有不同。
书上介绍的安装版本比较老旧，也没有必要去安装一个老旧的版本。所以这里我安装的是3.3.0 具体的安装流程可以参考这个链接：http://hadoopspark.blogspot.com/2015/09/4-hadoop-26-single-node-cluster.html
不过需要注意的是里面的几条命令可能稍微有些问题： 使用下面的这条命令生成的key文件对应的host是本机的主机名：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
如果系统没有设置hostname，可以使用下面的命令生成key：
ssh localhost ssh-keygen -t rsa
两者的区别在于第一条命令生成的是username@hostname，第二条名称生成的是username@localhost