秀人集爬虫【22.09.04】【Windows】

2022年9月4日 95 条评论

更新日志：
22.9.4
1.调整超时时间为10秒
2.换了个进度条
3.下载异常处理可能不生效的问题
22.4.12
增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。
22.1.18
1.兼容更新后的秀人集网站，支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。
2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> （该参数会重新排列分类列表，可以开启多个进程同时进行爬取）
         -c <single category url> （支持单分类爬取，如果只想爬取某一个分类请使用该参数）
         -e <early stop, work in site crawl mode only> （配合整站爬取使用，多次检测到已经下载自动跳过该分类）
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
************************************************************************************

效果：
(venv) PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py  -a -r -s https://www.xiurenb.cc -e -p I:\test
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.09.04
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始分析分类信息......
[*] 2022-09-04 20:06:42 CAT: 分析完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 重新排列分类信息
[*] 2022-09-04 20:06:42 CAT: 重新索引完成，分类数:25
****************************************************************************************************
[*] 2022-09-04 20:06:42 MFStar模范学院: https://www.xiurenb.cc/MFStar/
[*] 2022-09-04 20:06:42 LeYuan星乐园: https://www.xiurenb.cc/LeYuan/
[*] 2022-09-04 20:06:42 最新更新: https://www.xiurenb.cc/new.html
[*] 2022-09-04 20:06:42 HuaYang花漾: https://www.xiurenb.cc/HuaYang/
[*] 2022-09-04 20:06:42 MintYe薄荷叶: https://www.xiurenb.cc/MintYe/
[*] 2022-09-04 20:06:42 MiStar魅妍社: https://www.xiurenb.cc/MiStar/
[*] 2022-09-04 20:06:42 站长推荐: https://www.xiurenb.cc/hot.html
[*] 2022-09-04 20:06:42 Candy糖果画报: https://www.xiurenb.cc/Candy/
[*] 2022-09-04 20:06:42 Taste顽味生活: https://www.xiurenb.cc/Taste/
[*] 2022-09-04 20:06:42 Uxing优星馆: https://www.xiurenb.cc/Uxing/
[*] 2022-09-04 20:06:42 YouWu尤物馆: https://www.xiurenb.cc/YouWu/
[*] 2022-09-04 20:06:42 XiaoYu画语界: https://www.xiurenb.cc/XiaoYu/
[*] 2022-09-04 20:06:42 MyGirl美媛馆: https://www.xiurenb.cc/MyGirl/
[*] 2022-09-04 20:06:42 MiiTao蜜桃社: https://www.xiurenb.cc/MiiTao/
[*] 2022-09-04 20:06:42 Imiss爱蜜社: https://www.xiurenb.cc/IMiss/
[*] 2022-09-04 20:06:42 YouMi尤蜜荟: https://www.xiurenb.cc/YouMi/
[*] 2022-09-04 20:06:42 HuaYan花の颜: https://www.xiurenb.cc/HuaYan/
[*] 2022-09-04 20:06:42 BoLoli兔几盟: https://www.xiurenb.cc/BoLoli/
[*] 2022-09-04 20:06:42 XingYan星颜社: https://www.xiurenb.cc/XingYan/
[*] 2022-09-04 20:06:42 FeiLin嗲囡囡: https://www.xiurenb.cc/FeiLin/
[*] 2022-09-04 20:06:42 DKGirl御女郎: https://www.xiurenb.cc/DKGirl/
[*] 2022-09-04 20:06:42 Micat猫萌榜: https://www.xiurenb.cc/Micat/
[*] 2022-09-04 20:06:42 MTMeng模特联盟: https://www.xiurenb.cc/MTMeng/
[*] 2022-09-04 20:06:42 WingS影私荟: https://www.xiurenb.cc/WingS/
[*] 2022-09-04 20:06:42 XiuRen秀人网: https://www.xiurenb.cc/XiuRen/
[*] 2022-09-04 20:06:42 CAT: 索引完成，分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-09-04 20:06:42 CAT: 开始处理分类：MFStar模范学院
https://www.xiurenb.cc/MFStar/index2.html
****************************************************************************************************
[*] 2022-09-04 20:06:43 PAGE: 开始分析页面链接
[*] 2022-09-04 20:06:43 DOWNLOAD: 开始下载：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:43 DOWNLOAD: https://www.xiurenb.cc/MFStar/11358.html
[*] 2022-09-04 20:06:43 DOWNLOAD: 下载目录：[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P
[*] 2022-09-04 20:06:44 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1B203526524.jpg
[*] 2022-09-04 20:06:44 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\54d1d2f846ee064daa68847da20301e8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 342025/342025 [00:00<00:00, 399207.13it/s]
[*] 2022-09-04 20:06:47 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/6C203527304.jpg
[*] 2022-09-04 20:06:47 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\eba3991257639d66dc5481a96b951a15.jpg
[*] 2022-09-04 20:06:57 EXP: 发生异常，HTTPSConnectionPool(host='www.xiurenb.cc', port=443): Read timed out. (read timeout=10) ,继续处理后续图片
[*] 2022-09-04 20:06:57 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/75203527823.jpg
[*] 2022-09-04 20:06:57 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\4adc3b81a1a93a72a60eaf15d9b3f490.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 425431/425431 [00:01<00:00, 418986.23it/s]
[*] 2022-09-04 20:07:05 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_1.html
[*] 2022-09-04 20:07:10 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/1C203527335.jpg
[*] 2022-09-04 20:07:10 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\fe61fc4b418d3ec33b363ca606a24955.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 429434/429434 [00:00<00:00, 554490.08it/s]
[*] 2022-09-04 20:07:16 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527463.jpg
[*] 2022-09-04 20:07:16 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\74f2c534364597cef60fc1add84c14d8.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 277942/277942 [00:00<00:00, 438395.10it/s]
[*] 2022-09-04 20:07:18 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/27203527388.jpg
[*] 2022-09-04 20:07:18 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\83a287de221a08b60139ec82b30f9534.jpg
[D] 下载进度：: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 375962/375962 [00:00<00:00, 533614.42it/s]
[*] 2022-09-04 20:07:21 IMG: 下载完成，下一页：https://www.xiurenb.cc/MFStar/11358_2.html
[*] 2022-09-04 20:07:23 IMG: 正在下载:https://www.xiurenb.cc/uploadfile/202209/2/51203527685.jpg
[*] 2022-09-04 20:07:23 IMG: 图片保存路径:I:\test\[MFStar模范学院]Vol.567_模特白茹雪脱粉色背带裙露性感白T配超薄开档黑丝诱惑写真51P\7939ba78e0619a41ec2dfdf51137bd10.jpg

下载地址：

温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）

☆版权☆

* 网站名称：obaby@mars
* 网址：https://obaby.org.cn/
* 个性：https://oba.by/
* 本文标题：《秀人集爬虫【22.09.04】【Windows】》
* 本文链接：https://obaby.org.cn/2022/09/10443
* 短链接：https://oba.by/?p=10443
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。

Python 性感美女爬虫秀人集

Previous Post Next Post

obaby

爱好广泛的火星小妖精，有问题欢迎留言交流啊~(✪ω✪) 爬虫类工具请先点击这个链接查看用法https://oba.by/?p=12240 闺蜜圈APP下载 https://guimiquan.cn

95 comments

1 2 3 下一页 »

dujun说道：

2022年9月5日 11:35

Google Chrome 104 Mac OS X 10.15 中国–浙江–杭州电信
更新啦，支持

回复
1. obaby说道：
  
  2022年9月5日 15:43
  
  Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
  不过比较蛋疼的是我这里不能直接访问了，需要翻墙下载。不知道你们那边大墙有没有屏蔽这个网站~~
  
  回复
  1. dujun说道：
    
    2022年9月5日 16:00
    
    Google Chrome 104 Mac OS X 10.15 中国–浙江–杭州电信
    屏蔽了哪个？我能访问
    
    回复
    1. obaby说道：
      
      2022年9月5日 16:06
      
      Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
      青岛联通，现在秀人集的网站都打不开，有时候能打开网站，但是图片全挂。~~
      
      回复
      1. dujun说道：
        
        2022年9月5日 16:21
        
        
        Google Chrome 104 Mac OS X 10.15 中国–浙江–杭州电信
        杭州，电脑手机我都试了，能打开。
        
        回复
        
        obaby说道：
        
        2022年9月5日 16:23
        
        
        Google Chrome 102 Mac OS X 10.15 中国–山东–青岛联通
        那看来就是山东大墙节点，或者联通把这个域名给屏蔽了~~~
        
        回复
        
        IS说道：
        
        2022年9月5日 19:20
        
        Microsoft Edge 105 Windows 10 中国–山东–临沂联通
        obaby是青岛的啊
        
        回复
        
        obaby说道：
        
        2022年9月5日 19:25
        
        
        Google Chrome 104 Android 10 中国–山东–济南联通
        是哒
        
        回复
IS说道：

2022年9月5日 19:19

Microsoft Edge 105 Windows 10 中国–山东–临沂联通
更新了

回复
Tony说道：

2022年9月6日 09:54

Microsoft Edge 105 Windows 10 中国–广东–深圳电信
试一下，感谢

回复
染尽繁华说道：

2022年9月6日 23:27

Microsoft Edge 105 Windows 10 中国–江苏–南通电信
更新了

回复
caoyue说道：

2022年9月6日 23:31

Microsoft Edge 105 Windows 10 中国–江苏–南通电信
试一下，感谢,666666

回复
test123456说道：

2022年9月7日 21:03

Google Chrome 86 Windows 10 中国–江苏–苏州电信
谢谢了 66666

回复
夜微明说道：

2022年9月9日 09:17

MIUI Browser 16 Motorola 中国–安徽–芜湖电信
支持

回复
胡麻籽黑说道：

2022年9月9日 12:26

Microsoft Edge 105 Windows 10 中国–江苏–苏州电信
更新就要下载

回复
Tzuki说道：

2022年9月11日 13:52

Google Chrome 86 Windows 10 中国–江苏–常州电信
支持

回复
Tzuki说道：

2022年9月12日 15:34

Google Chrome 86 Windows 10 中国–江苏–常州电信
下载看下支持大佬

回复
浪里个浪说道：

2022年9月13日 17:52

Internet Explorer 11 Windows 8.1 中国–江苏–南通电信
试一下看看

回复
eralmtice说道：

2022年9月17日 13:32

Firefox 104 GNU/Linux 中国–北京–北京–昌平区联通
更新啦！感谢~

回复
CC说道：

2022年9月17日 21:34

Microsoft Edge 105 Windows 10 中国–北京–北京移动
终于更新了

回复
1. obaby说道：
  
  2022年9月17日 22:16
  
  Google Chrome 104 Windows 10 美国
  看来等了很久啊
  
  回复
Lee说道：

2022年9月19日 09:25

Google Chrome 105 Windows 10 中国–黑龙江–牡丹江中移铁通
支持一下，回来看又有资源了

回复
LT说道：

2022年9月20日 23:56

Google Chrome 105 Windows 10 中国–香港电讯盈科有限公司
有更新哎感谢大佬

回复
zhuyh说道：

2022年9月21日 00:13

Google Chrome 105 Mac OS X 10.15 中国–安徽–合肥–蜀山区电信
更新了

回复
ansuu说道：

2022年9月21日 15:03

Google Chrome 86 Windows 10 中国–山东–淄博联通
更新了，来看看，感谢！

回复
文说道：

2022年9月21日 15:50

Google Chrome 105 Windows 10 中国–香港 HKCSL
支持

回复
青找说道：

2022年9月22日 15:08

Microsoft Edge 105 Windows 10 中国–贵州–遵义电信
这个博客是做技术的吗，我进来看了一圈没看懂

回复
1. obaby说道：
  
  2022年9月22日 15:23
  
  Google Chrome 104 Android 10 中国–山东–青岛联通
  算是吧，什么东西都有比较杂。你想找哪一方面的？
  
  回复
Amnesiaing说道：

2022年9月23日 10:21

Microsoft Edge 105 Windows 10 中国–四川电信
挺好用。

回复
test123456说道：

2022年9月25日 07:02

Google Chrome 96 Android 12 中国–江苏–苏州电信
请问博主，最近用程序下载一直卡住没反应，是有问题吗？

回复
1. obaby说道：
  
  2022年9月25日 08:22
  
  Google Chrome 104 Android 10 中国–山东–临沂联通
  基本是网络问题，直接浏览器打开网址看看。不行就挂vpn
  
  回复
ndw说道：

2022年9月27日 17:33

Google Chrome 86 Windows 10 中国–河北–保定电信
难道…下错版本了？

回复
xuxuxu111说道：

2022年9月27日 20:51

Google Chrome 105 Windows 10 中国–浙江–杭州移动
我的评论有啥问题吗，审核一直没过

回复
1. obaby说道：
  
  2022年9月27日 20:53
  
  Google Chrome 104 Windows 10 美国–加利福尼亚州–洛杉矶–洛杉矶 IPXO
  没看到之前的评论~~ 垃圾评论里没有，这一条自动通过了~~
  
  回复
  1. xuxuxu111说道：
    
    2022年9月27日 21:02
    
    Google Chrome 105 Windows 10 中国–浙江–杭州移动
    ‘Connection aborted.’, ConnectionResetError(10054, ‘远程主机强迫关闭了一个现有的连接。’, None, 10054, None) 一直报这个是啥情况哦大佬，大墙都挂了
    
    回复
    1. obaby说道：
      
      2022年9月27日 21:13
      
      Google Chrome 104 Windows 10 中国–山东–临沂联通
      xiurenji.exe -a -r -s https://www.xiurenb.cc 换域名，再有问题加群问吧。
      
      回复
      1. xuxuxu111说道：
        
        2022年10月8日 19:44
        
        Google Chrome 105 Windows 10 中国–浙江–杭州移动
        现在应该换什么域名呀
        
        回复
        
        obaby说道：
        
        2022年10月8日 19:45
        
        Google Chrome 104 Android 10 中国–山东–济南联通
        xiurennb.cc？
        
        回复
kkyycc123说道：

2022年9月30日 16:19

Google Chrome 104 Windows 10 中国–江西联通
更新了，所以我又来了

回复
www说道：

2022年10月1日 00:39

Microsoft Edge 105 Windows 10 中国–北京–北京移动
终于等到更新了

回复
thcy说道：

2022年10月1日 15:01

Google Chrome 105 Windows 10 中国–湖北–武汉电信
终于更新了，来了

回复
akali说道：

2022年10月5日 18:17

WebView 4 Android 12 中国–广东–东莞电信
来学习

回复
xuxuxu111说道：

2022年10月8日 19:50

Google Chrome 105 Windows 10 中国–浙江–杭州移动
不行哦 https://www.xiurennb.cc一直是远程主机强迫关闭现有链接

回复
1. obaby说道：
  
  2022年10月8日 19:52
  
  Google Chrome 104 Android 10 中国–山东–济南联通
  尝试翻墙吧
  
  回复
2. obaby说道：
  
  2022年10月8日 22:20
  
  Google Chrome 104 Windows 10 中国–山东–临沂联通
  https://www.xiurenb.cc 试试这个
  
  回复
  1. xuxuxu111说道：
    
    2022年10月8日 22:43
    
    Google Chrome 105 Windows 10 中国–浙江–杭州移动
    也不行墙也翻了
    
    回复
    1. obaby说道：
      
      2022年10月9日 10:31
      
      Google Chrome 102 Mac OS X 10.15 中国–山东–济南移动
      那就没招了，自己想办法吧~~
      
      回复
晶晶说道：

2022年10月20日 22:48

WebView 4 Android 13 中国–辽宁–锦州联通
更新了，支持

回复
Lee说道：

2022年10月26日 00:39

Microsoft Edge 106 Windows 10 中国–台湾–彰化县中华电信
支持

回复