秀人集爬虫 【22.09.04】【Windows】

更新日志：
22.9.4
1.调整超时时间为10秒
2.换了个进度条
3.下载异常处理可能不生效的问题
22.4.12
增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。
22.1.18
1.兼容更新后的秀人集网站，支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。
2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> （该参数会重新排列分类列表，可以开启多个进程同时进行爬取）
         -c <single category url> （支持单分类爬取，如果只想爬取某一个分类请使用该参数）
         -e <early stop, work in site crawl mode only> （配合整站爬取使用，多次检测到已经下载自动跳过该分类）
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
************************************************************************************

效果：
(venv) PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py  -a -r -s https://www.xiurenb.cc -e -p I:\test
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.09.04
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始分析分类信息......
[*] 2022-09-04 20:06:42 CAT: 分析完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 重新排列分类信息
[*] 2022-09-04 20:06:42 CAT: 重新索引完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 MFStar模范学院: https://www.xiurenb.cc/MFStar/
[*] 2022-09-04 20:06:42 LeYuan星乐园: https://www.xiurenb.cc/LeYuan/
[*] 2022-09-04 20:06:42 最新更新: https://www.xiurenb.cc/new.html
[*] 2022-09-04 20:06:42 HuaYang花漾: https://www.xiurenb.cc/HuaYang/
[*] 2022-09-04 20:06:42 MintYe薄荷叶: https://www.xiurenb.cc/MintYe/
[*] 2022-09-04 20:06:42 MiStar魅妍社: https://www.xiurenb.cc/MiStar/
[*] 2022-09-04 20:06:42 站长推荐: https://www.xiurenb.cc/hot.html
[*] 2022-09-04 20:06:42 Candy糖果画报: https://www.xiurenb.cc/Candy/
[*] 2022-09-04 20:06:42 Taste顽味生活: https://www.xiurenb.cc/Taste/
[*] 2022-09-04 20:06:42 Uxing优星馆: https://www.xiurenb.cc/Uxing/
[*] 2022-09-04 20:06:42 YouWu尤物馆: https://www.xiurenb.cc/YouWu/
[*] 2022-09-04 20:06:42 XiaoYu画语界: https://www.xiurenb.cc/XiaoYu/
[*] 2022-09-04 20:06:42 MyGirl美媛馆: https://www.xiurenb.cc/MyGirl/
[*] 2022-09-04 20:06:42 MiiTao蜜桃社: https://www.xiurenb.cc/MiiTao/
[*] 2022-09-04 20:06:42 Imiss爱蜜社: https://www.xiurenb.cc/IMiss/
[*] 2022-09-04 20:06:42 YouMi尤蜜荟: https://www.xiurenb.cc/YouMi/
[*] 2022-09-04 20:06:42 HuaYan花の颜: https://www.xiurenb.cc/HuaYan/
[*] 2022-09-04 20:06:42 BoLoli兔几盟: https://www.xiurenb.cc/BoLoli/
[*] 2022-09-04 20:06:42 XingYan星颜社: https://www.xiurenb.cc/XingYan/
[*] 2022-09-04 20:06:42 FeiLin嗲囡囡: https://www.xiurenb.cc/FeiLin/
[*] 2022-09-04 20:06:42 DKGirl御女郎: https://www.xiurenb.cc/DKGirl/
[*] 2022-09-04 20:06:42 Micat猫萌榜: https://www.xiurenb.cc/Micat/
[*] 2022-09-04 20:06:42 MTMeng模特联盟: https://www.xiurenb.cc/MTMeng/
[*] 2022-09-04 20:06:42 WingS影私荟: https://www.xiurenb.cc/WingS/
[*] 2022-09-04 20:06:42 XiuRen秀人网: https://www.xiurenb.cc/XiuRen/
[*] 2022-09-04 20:06:42 CAT: 索引完成，分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始处理分类：MFStar模范学院
https://www.xiurenb.cc/MFStar/index2.html
****************************************************************************************************
[*] 2022-09-04 20:06:43 PAGE: 开始分析页面链接
[*] 2022-09-04 20:06:43 DOWNLOAD: 开始下载：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:43 DOWNLOAD: https://www.xiurenb.cc/MFStar/11358.html
[*] 2022-09-04 20:06:43 DOWNLOAD: 下载目录：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:44 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1B203526524.jpg
[*] 2022-09-04 20:06:44 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\54d1d2f846ee064daa68847da20301e8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 342025/342025 [00:00<00:00, 399207.13it/s]
[*] 2022-09-04 20:06:47 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/6C203527304.jpg
[*] 2022-09-04 20:06:47 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\eba3991257639d66dc5481a96b951a15.jpg
[*] 2022-09-04 20:06:57 EXP: 发生异常，HTTPSConnectionPool(host='www.xiurenb.cc', port=443): Read timed out. (read timeout=10) ,继续处理后续图片
[*] 2022-09-04 20:06:57 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/75203527823.jpg
[*] 2022-09-04 20:06:57 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\4adc3b81a1a93a72a60eaf15d9b3f490.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 425431/425431 [00:01<00:00, 418986.23it/s]
[*] 2022-09-04 20:07:05 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_1.html
[*] 2022-09-04 20:07:10 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1C203527335.jpg
[*] 2022-09-04 20:07:10 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\fe61fc4b418d3ec33b363ca606a24955.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 429434/429434 [00:00<00:00, 554490.08it/s]
[*] 2022-09-04 20:07:16 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527463.jpg
[*] 2022-09-04 20:07:16 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\74f2c534364597cef60fc1add84c14d8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277942/277942 [00:00<00:00, 438395.10it/s]
[*] 2022-09-04 20:07:18 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527388.jpg
[*] 2022-09-04 20:07:18 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\83a287de221a08b60139ec82b30f9534.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 375962/375962 [00:00<00:00, 533614.42it/s]
[*] 2022-09-04 20:07:21 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_2.html
[*] 2022-09-04 20:07:23 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/51203527685.jpg
[*] 2022-09-04 20:07:23 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\7939ba78e0619a41ec2dfdf51137bd10.jpg

下载地址：

温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）