秀人集爬虫【21.9.21】【Windows】

2021年9月21日 134 条评论

xiurenji.exe 可执行文件名称
帮助：
-h 显示帮助说明
必选参数：
-a 整站爬取
-q 搜索爬取，针对关键字搜索之后对于搜索结果页进行爬取
可选参数：
-p 指定下载目录，默认下载路径为当前exe所在目录下的images文件夹
-s 指定服务器地址，例如：http://www.xiurenji.vip url不要带最后的/

更新日志：

增加-s 参数支持：
-s 指定服务器地址，例如：http://www.xiurenji.vip url不要带最后的/

执行效果：

PS F:\Pycharm_Projects\meitulu-spider> python .\xiurenji.py -a -s https://www.xiurenji.vip
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 21.9.21
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2021-09-21 22:31:38 CAT: 开始分析分类信息......
[*] 2021-09-21 22:31:38 秀人网: https://www.xiurenji.vip/XiuRen/
[*] 2021-09-21 22:31:38 模范学院: https://www.xiurenji.vip/MFStar/
[*] 2021-09-21 22:31:38 魅妍社: https://www.xiurenji.vip/MiStar/
[*] 2021-09-21 22:31:38 美媛馆: https://www.xiurenji.vip/MyGirl/
[*] 2021-09-21 22:31:38 爱蜜社: https://www.xiurenji.vip/IMiss/
[*] 2021-09-21 22:31:38 尤物馆: https://www.xiurenji.vip/YouWu/
[*] 2021-09-21 22:31:38 嗲囡囡: https://www.xiurenji.vip/FeiLin/
[*] 2021-09-21 22:31:38 蜜桃社: https://www.xiurenji.vip/MiiTao/
[*] 2021-09-21 22:31:38 尤蜜荟: https://www.xiurenji.vip/YouMi/
[*] 2021-09-21 22:31:38 画语界: https://www.xiurenji.vip/XiaoYu
[*] 2021-09-21 22:31:38 花漾: https://www.xiurenji.vip/HuaYang
[*] 2021-09-21 22:31:38 星颜社: https://www.xiurenji.vip/XingYan
[*] 2021-09-21 22:31:38 CAT: 分析完成，分类数:12
****************************************************************************************************
****************************************************************************************************
[*] 2021-09-21 22:31:38 CAT: 开始处理分类：秀人网
https://www.xiurenji.vip/XiuRen/index2.html
****************************************************************************************************
[*] 2021-09-21 22:31:38 PAGE: 开始分析页面链接
[*] 2021-09-21 22:31:38 DOWNLOAD: 开始下载：[XiuRen秀人网]No.3917_模特唐安琪客户经理主题脱职业装露性感肉色内衣完美诱惑写真79P
[*] 2021-09-21 22:31:38 DOWNLOAD: https://www.xiurenji.vip/XiuRen/9167.html
[*] 2021-09-21 22:31:38 DOWNLOAD: 下载目录：[XiuRen秀人网]No.3917_模特唐安琪客户经理主题脱职业装露性感肉色内衣完美诱惑写真79P
[*] 2021-09-21 22:31:38 SKP: 已经存在该目录，跳过。
****************************************************************************************************
[*] 2021-09-21 22:31:38 DOWNLOAD: 开始下载：[XiuRen秀人网]No.3916_模特熊小诺阳朔旅拍紫色连体蕾丝袜开档秀翘臀情迷诱惑写真58P
[*] 2021-09-21 22:31:38 DOWNLOAD: https://www.xiurenji.vip/XiuRen/9166.html
[*] 2021-09-21 22:31:38 DOWNLOAD: 下载目录：[XiuRen秀人网]No.3916_模特熊小诺阳朔旅拍紫色连体蕾丝袜开档秀翘臀情迷诱惑写真58P
[*] 2021-09-21 22:31:39 IMG: 正在下载:https://www.xiurenji.vip/uploadfile/202109/21/EE10546873.jpg
[*] 2021-09-21 22:31:39 IMG: 图片保存路径:G:/秀人集/[XiuRen秀人网]No.3916_模特熊小诺阳朔旅拍紫色连体蕾丝袜开档秀翘臀情迷诱惑写真58P\c3a503846fc2ea0508503d17e3455da2.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(439KB/439KB)
[*] 2021-09-21 22:32:38 IMG: 正在下载:https://www.xiurenji.vip/uploadfile/202109/21/2810546813.jpg
[*] 2021-09-21 22:32:38 IMG: 图片保存路径:G:/秀人集/[XiuRen秀人网]No.3916_模特熊小诺阳朔旅拍紫色连体蕾丝袜开档秀翘臀情迷诱惑写真58P\b06461ac6d9d751c23a36a7185d41640.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(412KB/412KB)
[*] 2021-09-21 22:33:15 IMG: 正在下载:https://www.xiurenji.vip/uploadfile/202109/21/4510546809.jpg
[*] 2021-09-21 22:33:15 IMG: 图片保存路径:G:/秀人集/[XiuRen秀人网]No.3916_模特熊小诺阳朔旅拍紫色连体蕾丝袜开档秀翘臀情迷诱惑写真58P\38b5791954dc8fa45b0b673caeccbd1e.jpg
[D] 下载进度： ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊                                                      47%(207KB/438KB)

爬取进度：

下载链接：

温馨提示: 此处隐藏内容需要发表评论，并且审核通过后才能查看。
（发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址，以便下次评论时使用。）
（请仔细检查自己的昵称和评论内容，以免被识别为垃圾评论而导致无法正常审核。）

2022.01.03更新。如果执行失败请使用新域名https://www.xiurenji.net （-s参数）参考下图：

简单教程：https://weibo.com/tv/show/1034:4673816081924218?from=old_pc_videoshow

旧版本：

http://h4ck.org.cn/2021/06/%E7%A7%80%E4%BA%BA%E9%9B%86%E7%88%AC%E8%99%AB/

2022.1.18更新：

页面布局改变，请下载新版本：http://h4ck.org.cn/2022/01/%E7%A7%80%E4%BA%BA%E9%9B%86%E7%88%AC%E8%99%AB-%E3%80%9022-1-18%E3%80%91%E3%80%90windows%E3%80%91/

☆版权☆

* 网站名称：obaby@mars
* 网址：https://obaby.org.cn/
* 个性：https://oba.by/
* 本文标题：《秀人集爬虫【21.9.21】【Windows】》
* 本文链接：https://obaby.org.cn/2021/09/9036
* 短链接：https://oba.by/?p=9036
* 转载文章请标明文章来源，原文标题以及原文链接。请遵从《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。

Previous Post Next Post

obaby

爱好广泛的火星小妖精，有问题欢迎留言交流啊~(✪ω✪) 爬虫类工具请先点击这个链接查看用法https://oba.by/?p=12240 闺蜜圈APP下载 https://guimiquan.cn

134 comments

1说道：

2021年11月21日 00:51

Google Chrome 95 Windows 10 中国–安徽–阜阳移动
感谢大佬感谢大佬

回复
fg说道：

2021年11月22日 16:31

Google Chrome 96 Windows 10 中国–安徽–阜阳移动
看起来很不错的样子，感谢分享

回复
呼呼呼说道：

2021年11月22日 18:32

Google Chrome 86 Windows 10 中国–北京–北京联通
感谢大神

回复
julysky说道：

2021年11月24日 00:20

WebView 4 Android 10 中国–江苏–盐城移动
感谢分享

回复
41200asd50说道：

2021年11月27日 10:49

Google Chrome 96 Windows 10 中国–河北–承德联通
感谢大神

回复
爱慕说道：

2021年11月30日 10:21

Google Chrome 63 Windows 10 中国–四川–自贡移动
感谢分享，非常想要

回复
爱慕说道：

2021年11月30日 11:51

Google Chrome 63 Windows 10 中国–四川–自贡移动
感谢分享

回复
Gor199说道：

2021年11月30日 12:48

Microsoft Edge 96 Windows 10 中国–江苏–盐城电信/(盐都县)电信
感谢分享

回复
Gor199说道：

2021年11月30日 13:29

Microsoft Edge 96 Windows 10 中国–江苏–盐城电信/(盐都县)电信
感谢分享感谢大神

回复
都好好的说道：

2021年12月2日 01:55

Mozilla Compatible iPhone iOS 14.8 中国–浙江–金华电信
怎么使用能交一下吗

回复
1. obaby说道：
  
  2021年12月2日 10:21
  
  Google Chrome 94 Mac OS X 10.15 中国–山东–青岛移动
  怎么交？交不了~~
  
  回复
55开说道：

2021年12月2日 17:45

WebView 4 Android 11 中国–河南–三门峡电信
感谢大佬分享

回复
芝麻叉烧说道：

2021年12月4日 06:16

QQbrowser Android 12 中国–山东–济南移动
大佬牛啊

回复
胡麻籽黑说道：

2021年12月5日 20:29

Microsoft Edge 96 Windows 10 中国–江苏电信
Traceback (most recent call last):
File “xiurenji.py”, line 376, in
File “xiurenji.py”, line 369, in main
File “xiurenji.py”, line 334, in search_crawler
File “xiurenji.py”, line 287, in get_search_sub_pages
File “xiurenji.py”, line 51, in proxy_get
File “requests\api.py”, line 76, in get
File “requests\api.py”, line 61, in request
File “requests\sessions.py”, line 542, in request
File “requests\sessions.py”, line 655, in send
File “requests\adapters.py”, line 498, in send
requests.exceptions.ConnectionError: (‘Connection aborted.’, ConnectionResetError(10054, ‘远程主机强迫关闭了一个现有的连接。’, None, 10054, None))
[13884] Failed to execute script xiurenji

回复
1. obaby说道：
  
  2021年12月5日 20:53
  
  Google Chrome 96 Windows 10 中国–山东–青岛联通
  自己换下服务器地址~
  
  回复
  1. 胡麻籽黑说道：
    
    2021年12月6日 08:43
    
    Microsoft Edge 96 Windows 10 中国–江苏–苏州电信
    向大佬致敬！
    
    回复
  2. 马林说道：
    
    2021年12月29日 23:25
    
    Google Chrome 80 Windows 10 美国–加利福尼亚州–洛杉矶–洛杉矶
    大佬能教教怎么换服务器地址么？
    
    回复
    1. obaby说道：
      
      2021年12月30日 13:49
      
      Google Chrome 96 Mac OS X 10.15 中国–山东–青岛移动
      -s 啊~~
      
      回复
杨宝进说道：

2021年12月8日 17:28

Google Chrome 62 Windows 10 中国–广东–惠州电信
怎么使用能交一下吗

回复
1. obaby说道：
  
  2021年12月8日 17:41
  
  美国
  看截图啊，在cmd里执行就可以了，如果不知道怎么运行命令行工具百度一下
  
  回复
test说道：

2021年12月8日 18:58

Google Chrome 96 Windows 10 中国–安徽–合肥中国科学技术大学(CMNET广东移动出口)
-s 参数不能具体到html吗

回复
1. obaby说道：
  
  2021年12月8日 19:27
  
  美国
  这个是替换服务器地址，不是爬取指定页面
  
  回复
wh12empty说道：

2021年12月11日 16:36

Google Chrome 86 Windows 10 中国–江苏–苏州电信
大佬厉害了

回复
test123456说道：

2021年12月11日 16:41

Google Chrome 96 Windows 10 中国–江苏–苏州电信
感谢分享

回复
LAaa说道：

2021年12月13日 16:26

Microsoft Edge 96 Windows 10 中国–湖南–长沙电信
感谢分享

回复
123说道：

2021年12月14日 14:15

Google Chrome 81 Windows 7 中国–山东–临沂电信
感谢

回复
sakura说道：

2021年12月15日 17:43

Sogou Explorer Windows 10 中国–甘肃–庆阳电信
感谢大神

回复
sakura说道：

2021年12月15日 17:44

Sogou Explorer Windows 10 中国–甘肃–庆阳电信
感谢大神分享

回复
To说道：

2021年12月16日 18:59

Google Chrome 93 Mac OS X 10.15 中国–上海–上海联通
感谢大佬

回复
xuxuxu111说道：

2021年12月17日 14:35

IBrowse r Android 10 中国–浙江–杭州–上城区移动
看看有教程吗

回复
obaby说道：

2021年12月17日 14:39

Google Chrome 96 Mac OS X 10.15 中国–山东–青岛移动
不会用的看这里： https://weibo.com/2120123121/KuYiEkkhW

回复
obaby说道：

2021年12月17日 14:41

Google Chrome 96 Mac OS X 10.15 中国–山东–青岛移动
简单视频教程 https://weibo.com/tv/show/1034:4673816081924218?from=old_pc_videoshow

回复
xuxuxu111说道：

2021年12月17日 14:43

IBrowse r Android 10 中国–浙江–杭州–上城区移动
重新评论

回复
nihao说道：

2021年12月18日 17:17

Google Chrome 96 Windows 10 中国–浙江–嘉兴电信
重新评论

回复
nihao说道：

2021年12月18日 19:45

Google Chrome 96 Windows 10 中国–浙江–嘉兴电信
整站爬取的时候中断了下次执行会继续还是重新拉

回复
1. obaby说道：
  
  2021年12月18日 21:11
  
  Google Chrome 96 Windows 10 中国–山东–青岛联通
  拉是不假，你没发现下载过的都跳过了？
  
  回复
  1. nihao说道：
    
    2021年12月19日 14:52
    
    Google Chrome 96 Windows 10 中国–浙江–嘉兴电信
    牛逼，不说了
    
    回复
ableone说道：

2021年12月19日 10:38

UC Browser 6 Windows 7 中国–四川–成都广电网
刚刚下的旧版的也能用.试试

回复
小团团说道：

2021年12月21日 08:20

Google Chrome 100 Mac OS X 10.15 中国–北京–北京联通
人间福利

回复