晚上收拾衣服的时候，忽然传来了门铃声。也没有人点外卖或者快递，猜测可能是对门的大姐或者阿姨。打开猫眼看了一下，果然是对门大姐，手里还提着一大袋子东西。赶紧打开房门，发现她提的是一大袋子玉米，大约得有十来个。赶紧请大姐进屋，“你把这个拿进去，我再给你拿点别的东西”，大姐说完就往自己屋里走。
稍微一会儿大姐拿着一摞排列整齐的盒子走了过来，我还以为是香烟。接到手上一看竟然是一摞小雨衣，这，哈哈哈，有点离谱了喂。大姐解释道，这个是社区免费领的，自己也用不完，放着也没啥用，就给你们点吧。
嗯，第一次收到这么奇怪的投喂，有点出乎意料。虽然小雨衣消耗还是比较快的，但是之前从来没受过这个啊。
前天的时候，打开之前爬取的视频资源，点击播放的时候提示数据出错了。昨天晚上看了一下目标网站，已经改了m3u8的链接地址了。并且新url加入了两个变量：
https://****/get_file/7/8d8c46ce0375c0a08907ec82532b839e/161000/161967/161967.mp4/
看了下链接，里面有两个字段7/8d8c46ce0375c0a08907ec82532b839e无法确定，后面的内容可能是md5，但是至于是哪一段的md5无法确认。分析了一下无果，这个东西猜测应该有一定的规律，只是现在还不知道这个规律是什么。而后续自己也不准备在继续分析各种色情网站了。跟豚鼠一样囤积了太多的数据跟影片，而这些影片自己看过的则屈指可数。就在前天刚刚删除了接近1T的数据，既然不准备继续爬取了，那么我准备分享一部分数据，大家感兴趣的话可以自己研究一下（为了避免被抓，所有的视频地址已经删除）。
数据内容：网站、分类、标签、上传者、影片数据、关联表。统计数据见下图：
数据来源包括：网站、app，这两个是主要数据来源，数据获取方式参考以下几篇文章（能力需求：安卓逆向，js逆向，密码学）：
网站数据分析可以参考以下几篇文章（能力需求：hadoop，spark）此处内容带上述组件的简单教程，都说兴趣是最好的老师，可能姐姐我是第一个用色情网站数据来学习大数据的，哈哈哈：
视频文件下载（能力需求：python，命令行工具），上述资料无下载链接，需要的可以看一下，工具比较粗糙：
关于色情的一些思考：
至此，对于色情网站的爬取分析就算告一段了，最早的数据开始于2020年，期间网站数据有增加也有删除，最多的时候通过在服务器以及本地启动爬虫大约十来个左右。后续随着网站以及app的密钥变化，也懒得再去追踪相关算法，最终爬取网站app越来越少，到昨天最后一个网站爬虫也停掉了。这段经历就算结束了，爬取数据四十多万条，如果统计视频在这些网站播放次数的话大约几千万是有的，这还是统计数据不更新的情况下。
到这里就结束啦，之前在一片文章还提过橙人体验馆的一个东西，这个现在看来也是很火的产业，抖音上都能看到各种相关视频。等再有时间，我会发文章，哈哈哈。发视频肯定就被抓了。
好啦，爬虫本篇文章没有，这个也确实不怎么高级，大家可以自己研究。
需要数据的从这里获取哦：
温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）
网站没了就没了，反正有那么多小雨衣了，看视频哪有跟真人玩好玩，是叭？嘻嘻
88 comments
看了评论区学到了，免费领取。