秀人集爬虫【22.09.04】【Windows】

2022年9月4日 95 条评论

更新日志：
22.9.4
1.调整超时时间为10秒
2.换了个进度条
3.下载异常处理可能不生效的问题
22.4.12
增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。
22.1.18
1.兼容更新后的秀人集网站，支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。
2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> （该参数会重新排列分类列表，可以开启多个进程同时进行爬取）
         -c <single category url> （支持单分类爬取，如果只想爬取某一个分类请使用该参数）
         -e <early stop, work in site crawl mode only> （配合整站爬取使用，多次检测到已经下载自动跳过该分类）
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
************************************************************************************

效果：
(venv) PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py  -a -r -s https://www.xiurenb.cc -e -p I:\test
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.09.04
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始分析分类信息......
[*] 2022-09-04 20:06:42 CAT: 分析完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 重新排列分类信息
[*] 2022-09-04 20:06:42 CAT: 重新索引完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 MFStar模范学院: https://www.xiurenb.cc/MFStar/
[*] 2022-09-04 20:06:42 LeYuan星乐园: https://www.xiurenb.cc/LeYuan/
[*] 2022-09-04 20:06:42 最新更新: https://www.xiurenb.cc/new.html
[*] 2022-09-04 20:06:42 HuaYang花漾: https://www.xiurenb.cc/HuaYang/
[*] 2022-09-04 20:06:42 MintYe薄荷叶: https://www.xiurenb.cc/MintYe/
[*] 2022-09-04 20:06:42 MiStar魅妍社: https://www.xiurenb.cc/MiStar/
[*] 2022-09-04 20:06:42 站长推荐: https://www.xiurenb.cc/hot.html
[*] 2022-09-04 20:06:42 Candy糖果画报: https://www.xiurenb.cc/Candy/
[*] 2022-09-04 20:06:42 Taste顽味生活: https://www.xiurenb.cc/Taste/
[*] 2022-09-04 20:06:42 Uxing优星馆: https://www.xiurenb.cc/Uxing/
[*] 2022-09-04 20:06:42 YouWu尤物馆: https://www.xiurenb.cc/YouWu/
[*] 2022-09-04 20:06:42 XiaoYu画语界: https://www.xiurenb.cc/XiaoYu/
[*] 2022-09-04 20:06:42 MyGirl美媛馆: https://www.xiurenb.cc/MyGirl/
[*] 2022-09-04 20:06:42 MiiTao蜜桃社: https://www.xiurenb.cc/MiiTao/
[*] 2022-09-04 20:06:42 Imiss爱蜜社: https://www.xiurenb.cc/IMiss/
[*] 2022-09-04 20:06:42 YouMi尤蜜荟: https://www.xiurenb.cc/YouMi/
[*] 2022-09-04 20:06:42 HuaYan花の颜: https://www.xiurenb.cc/HuaYan/
[*] 2022-09-04 20:06:42 BoLoli兔几盟: https://www.xiurenb.cc/BoLoli/
[*] 2022-09-04 20:06:42 XingYan星颜社: https://www.xiurenb.cc/XingYan/
[*] 2022-09-04 20:06:42 FeiLin嗲囡囡: https://www.xiurenb.cc/FeiLin/
[*] 2022-09-04 20:06:42 DKGirl御女郎: https://www.xiurenb.cc/DKGirl/
[*] 2022-09-04 20:06:42 Micat猫萌榜: https://www.xiurenb.cc/Micat/
[*] 2022-09-04 20:06:42 MTMeng模特联盟: https://www.xiurenb.cc/MTMeng/
[*] 2022-09-04 20:06:42 WingS影私荟: https://www.xiurenb.cc/WingS/
[*] 2022-09-04 20:06:42 XiuRen秀人网: https://www.xiurenb.cc/XiuRen/
[*] 2022-09-04 20:06:42 CAT: 索引完成，分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始处理分类：MFStar模范学院
https://www.xiurenb.cc/MFStar/index2.html
****************************************************************************************************
[*] 2022-09-04 20:06:43 PAGE: 开始分析页面链接
[*] 2022-09-04 20:06:43 DOWNLOAD: 开始下载：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:43 DOWNLOAD: https://www.xiurenb.cc/MFStar/11358.html
[*] 2022-09-04 20:06:43 DOWNLOAD: 下载目录：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:44 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1B203526524.jpg
[*] 2022-09-04 20:06:44 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\54d1d2f846ee064daa68847da20301e8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 342025/342025 [00:00<00:00, 399207.13it/s]
[*] 2022-09-04 20:06:47 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/6C203527304.jpg
[*] 2022-09-04 20:06:47 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\eba3991257639d66dc5481a96b951a15.jpg
[*] 2022-09-04 20:06:57 EXP: 发生异常，HTTPSConnectionPool(host='www.xiurenb.cc', port=443): Read timed out. (read timeout=10) ,继续处理后续图片
[*] 2022-09-04 20:06:57 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/75203527823.jpg
[*] 2022-09-04 20:06:57 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\4adc3b81a1a93a72a60eaf15d9b3f490.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 425431/425431 [00:01<00:00, 418986.23it/s]
[*] 2022-09-04 20:07:05 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_1.html
[*] 2022-09-04 20:07:10 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1C203527335.jpg
[*] 2022-09-04 20:07:10 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\fe61fc4b418d3ec33b363ca606a24955.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 429434/429434 [00:00<00:00, 554490.08it/s]
[*] 2022-09-04 20:07:16 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527463.jpg
[*] 2022-09-04 20:07:16 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\74f2c534364597cef60fc1add84c14d8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277942/277942 [00:00<00:00, 438395.10it/s]
[*] 2022-09-04 20:07:18 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527388.jpg
[*] 2022-09-04 20:07:18 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\83a287de221a08b60139ec82b30f9534.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 375962/375962 [00:00<00:00, 533614.42it/s]
[*] 2022-09-04 20:07:21 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_2.html
[*] 2022-09-04 20:07:23 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/51203527685.jpg
[*] 2022-09-04 20:07:23 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\7939ba78e0619a41ec2dfdf51137bd10.jpg

下载地址：

温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）

☆版权☆

* 网站名称：obaby@mars
* 网址：https://obaby.org.cn/
* 个性：https://oba.by/
* 本文标题：《秀人集爬虫【22.09.04】【Windows】》
* 本文链接：https://obaby.org.cn/2022/09/10443
* 短链接：https://oba.by/?p=10443
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。

Python 性感美女爬虫秀人集

Previous Post Next Post

obaby

爱好广泛的火星小妖精，有问题欢迎留言交流啊~(✪ω✪) 爬虫类工具请先点击这个链接查看用法https://oba.by/?p=12240 闺蜜圈APP下载 https://guimiquan.cn

95 comments

胡椒面说道：

2022年11月5日 21:14

Google Chrome 86 Windows 10 中国–上海–上海电信
更新了啊

回复
1. obaby说道：
  
  2022年11月5日 21:21
  
  Google Chrome 104 Windows 10 中国–山东–临沂联通
  都更新很久了啊~~~
  
  回复
qq112233qq说道：

2022年11月7日 09:21

Google Chrome 106 Windows 7 中国–安徽移动
更新了，支持

回复
面朝大海说道：

2022年11月11日 12:58

Google Chrome 86 Windows 10 中国–河北–秦皇岛联通
更新了，支持

回复
强说道：

2022年11月11日 13:10

Google Chrome 86 Windows 10 中国–河北–秦皇岛联通
很好，，终于更新了

回复
angkor说道：

2022年11月17日 16:32

Google Chrome 107 Windows 10 中国–湖南–长沙电信
。。

回复
icep说道：

2022年11月19日 09:04

Google Chrome 86 Windows 10 中国–上海–上海电信
学习下怎么用爬虫，支持

回复
2333333说道：

2022年11月21日 00:46

Safari 15 iPhone iOS 16.0.3 中国–广东–深圳电信
支持

回复
GG说道：

2022年11月27日 12:33

WebView 4 Android 10 中国–四川–成都移动
支持

回复
hanbo-zhang说道：

2022年11月27日 18:35

Firefox 107 Windows 10 中国–黑龙江–哈尔滨联通
这么快就更新了

回复
1223d说道：

2022年11月30日 23:08

Google Chrome 95 Windows 10 中国–四川–乐山电信
学习下怎么用爬虫

回复
1223d说道：

2022年11月30日 23:11

Google Chrome 95 Windows 10 中国–四川–乐山电信
学习下怎么用爬虫11

回复
优秀的顾客说道：

2022年12月3日 11:57

Google Chrome 107 Windows 7 中国–重庆–重庆移动
优秀的博主

回复
NIni说道：

2022年12月21日 11:23

Google Chrome 108 Windows 10 中国–广东–深圳联通
感谢感谢

回复
Tzc123说道：

2023年1月5日 14:36

Google Chrome 106 Windows 10 中国–山东–临沂联通
感谢

回复
幼儿吃饭插画说道：

2023年1月15日 23:37

Microsoft Edge 108 Windows 10 中国–山东–潍坊移动
感谢

回复
seasnake说道：

2023年1月23日 15:06

Chrome 108 iPhone iOS 16.2 中国–上海–上海电信
谢谢马上就开始研究

回复
ip说道：

2023年1月25日 21:31

Google Chrome 90 Windows 7 中国–广东–深圳移动
感谢

回复
kushuaide5说道：

2023年2月2日 11:15

Google Chrome 109 Windows 10 中国–湖南–长沙联通
感谢感谢666

回复
snck说道：

2023年2月4日 10:45

Google Chrome 69 Windows 10 中国–河北–邯郸联通
感谢分享，迫不及待试下了。

回复
aaa说道：

2023年2月6日 22:21

Firefox 90 Windows 7 美国 Amazon_EC2服务器
谢谢楼主

回复
zzl说道：

2023年2月11日 22:38

Google Chrome 95 Windows 7 中国–福建–福州移动
感谢分享，迫不及待试下了。

回复
电信说道：

2023年2月21日 13:09

Google Chrome 103 Windows 10 中国–安徽–合肥–巢湖市电信
支持支持

回复
微微说道：

2023年2月27日 20:51

Google Chrome 86 Windows 10 中国–上海–上海移动

回复
微微说道：

2023年2月28日 20:43

Google Chrome 86 Windows 10 中国中国移动

回复
nigrum说道：

2023年3月16日 21:33

Microsoft Edge 111 Windows 10 中国–四川–成都电信
迫不及待，以求一观

回复
1. obaby说道：
  
  2023年3月16日 21:34
  
  Google Chrome 110 Windows 10 中国–山东–青岛联通
  最好确认下最新网址，旧网址可能已经失效
  
  回复
GeGe说道：

2023年3月18日 23:30

Microsoft Edge 111 Windows 10 俄罗斯
站长太勤勉了，好久没上你博客，又更新这么多了！

回复
1. obaby说道：
  
  2023年3月19日 07:35
  
  Google Chrome 110 Android 10 中国–山东–烟台–芝罘区联通
  劳动使人快乐啊
  
  回复
猛踹瘸子那条好腿说道：

2023年3月22日 17:29

Microsoft Edge 111 Windows 10 中国中国电信
辛苦大佬了

回复
SGDHFGFNGFMNGGFMHFFDU说道：

2023年3月25日 18:13

Microsoft Edge 109 Windows 7 中国中国移动
求代码

回复
LICI说道：

2023年3月31日 06:43

Google Chrome 111 Windows 10 中国–台湾中华电信(HiNet)数据中心
感谢分享，嘗試看看

回复
qwerty0311说道：

2023年4月9日 15:25

Google Chrome 111 Windows 10 中国–广东–广州移动
好人一生平安，感谢分享

回复