秀人集爬虫 【22.04.12】【Windows】【Mac M1】

更新日志:
22.4.12
增加-e early stop参数,配合整站爬取使用,单独无效.如果没有完成整站爬取不要使用该参数,终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环,开多进程处理。
22.1.18
1.兼容更新后的秀人集网站,支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net(暂时可以不使用-s 参数)。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数,支持分类重拍,可以开启多个进程进行爬取。说实话就是姐姐太懒了,不想写多线程。
2.增加-c参数,支持爬取特定分类,请直接-c 分类地址。具体参数见下方使用说明。

使用参数:

****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list> (该参数会重新排列分类列表,可以开启多个进程同时进行爬取)
         -c <single category url> (支持单分类爬取,如果只想爬取某一个分类请使用该参数)
         -e <early stop, work in site crawl mode only> (配合整站爬取使用,多次检测到已经下载自动跳过该分类)
         -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
*************************************************************************************

效果:

C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\xiurenji\xiurenji.exe -a -e -r
****************************************************************************************************
       _           _             ____
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/

秀人集爬虫
Verson: 22.04.12
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始分析分类信息......
[*] 2022-04-12 21:40:03 CAT: 分析完成,分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 重新排列分类信息
[*] 2022-04-12 21:40:03 CAT: 重新索引完成,分类数:25
****************************************************************************************************
[*] 2022-04-12 21:40:03 MiiTao蜜桃社: https://www.xiurenji.net/MiiTao/
[*] 2022-04-12 21:40:03 XingYan星颜社: https://www.xiurenji.net/XingYan/
[*] 2022-04-12 21:40:03 站长推荐: https://www.xiurenji.net/hot.html
[*] 2022-04-12 21:40:03 YouWu尤物馆: https://www.xiurenji.net/YouWu/
[*] 2022-04-12 21:40:03 Uxing优星馆: https://www.xiurenji.net/Uxing/
[*] 2022-04-12 21:40:03 XiaoYu画语界: https://www.xiurenji.net/XiaoYu/
[*] 2022-04-12 21:40:03 WingS影私荟: https://www.xiurenji.net/WingS/
[*] 2022-04-12 21:40:03 XiuRen秀人网: https://www.xiurenji.net/XiuRen/
[*] 2022-04-12 21:40:03 Imiss爱蜜社: https://www.xiurenji.net/IMiss/
[*] 2022-04-12 21:40:03 MintYe薄荷叶: https://www.xiurenji.net/MintYe/
[*] 2022-04-12 21:40:03 Candy糖果画报: https://www.xiurenji.net/Candy/
[*] 2022-04-12 21:40:03 DKGirl御女郎: https://www.xiurenji.net/DKGirl/
[*] 2022-04-12 21:40:03 MFStar模范学院: https://www.xiurenji.net/MFStar/
[*] 2022-04-12 21:40:03 BoLoli兔几盟: https://www.xiurenji.net/BoLoli/
[*] 2022-04-12 21:40:03 最新更新: https://www.xiurenji.net/new.html
[*] 2022-04-12 21:40:03 FeiLin嗲囡囡: https://www.xiurenji.net/FeiLin/
[*] 2022-04-12 21:40:03 MyGirl美媛馆: https://www.xiurenji.net/MyGirl/
[*] 2022-04-12 21:40:03 HuaYan花の颜: https://www.xiurenji.net/HuaYan/
[*] 2022-04-12 21:40:03 MTMeng模特联盟: https://www.xiurenji.net/MTMeng/
[*] 2022-04-12 21:40:03 HuaYang花漾: https://www.xiurenji.net/HuaYang/
[*] 2022-04-12 21:40:03 YouMi尤蜜荟: https://www.xiurenji.net/YouMi/
[*] 2022-04-12 21:40:03 Taste顽味生活: https://www.xiurenji.net/Taste/
[*] 2022-04-12 21:40:03 LeYuan星乐园: https://www.xiurenji.net/LeYuan/
[*] 2022-04-12 21:40:03 MiStar魅妍社: https://www.xiurenji.net/MiStar/
[*] 2022-04-12 21:40:03 Micat猫萌榜: https://www.xiurenji.net/Micat/
[*] 2022-04-12 21:40:03 CAT: 索引完成,分类数:25
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:03 CAT: 开始处理分类:MiiTao蜜桃社
https://www.xiurenji.net/MiiTao/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9503.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.147_模特白甜私房浴室泳装+三点式缕空内衣秀惹火身材极致诱惑写真47P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9158.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.146_模特豆瓣酱私房真空情趣护士装+三点式泳装秀豪乳诱惑写真35P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/9106.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.145_模特豆瓣酱私房迷你三点式泳装+浴缸半透连体衣湿身诱惑写真50P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6914.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.144_嫩模优米Yumi私房性感真空女仆装侧露豪乳撩人诱惑写真29P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6725.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.143_新人模特月月may私房床上性感蕾丝内衣秀完美身材诱惑写真30P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6665.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.142_新人嫩模茵茵简紫霞仙子主题CoS古典风清新迷人写真34P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 DOWNLOAD: 开始下载:[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 DOWNLOAD: https://www.xiurenji.net/MiiTao/6164.html
[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.141_新人嫩模默默Momo私房三点式比基尼秀F杯巨乳撩人诱惑写真66P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************

[*] 2022-04-12 21:40:08 DOWNLOAD: 下载目录:[MiiTao蜜桃社]Vol.128_嫩模梦恬私房真空肚兜小厨娘半脱露傲人豪乳极致诱惑写真51P
[*] 2022-04-12 21:40:08 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:08 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:08 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: MiiTao蜜桃社下载完成,
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:08 CAT: 开始处理分类:XingYan星颜社
https://www.xiurenji.net/XingYan/index2.html
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 开始分析页面链接

[*] 2022-04-12 21:40:11 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:11 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:11 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: XingYan星颜社下载完成,
****************************************************************************************************
****************************************************************************************************
[*] 2022-04-12 21:40:11 CAT: 开始处理分类:站长推荐
****************************************************************************************************
[*] 2022-04-12 21:40:19 PAGE: 开始分析页面链接
[*] 2022-04-12 21:40:19 DOWNLOAD: 开始下载:[XiuRen秀人网]No.1967_女神王雨纯&周于希Sandy春节合集剧情性感姐妹花斗乳诱惑写真105P
[*] 2022-04-12 21:40:19 DOWNLOAD: https://www.xiurenji.net/XiuRen/5595.html

[*] 2022-04-12 21:40:20 DOWNLOAD: 下载目录:[XiuRen秀人网]No.3022_女神杨晨晨sugar浴池里真空灰色服饰配开档丝袜湿身诱惑写真52P
[*] 2022-04-12 21:40:20 SKP: 已经存在该目录,跳过。
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: EARLY STOP
****************************************************************************************************
[*] 2022-04-12 21:40:20 PAGE: 页面分析结束
****************************************************************************************************
[*] 2022-04-12 21:40:20 NEXT: 下一页地址:None
****************************************************************************************************
[*] 2022-04-12 21:40:20 CAT: 站长推荐下载完成,

下载地址:

温馨提示: 此处隐藏内容需要发表评论,并且审核通过后才能查看。
(发表评论请勾选 在此浏览器中保存我的显示名称、邮箱地址和网站地址,以便下次评论时使用。
(请仔细检查自己的昵称和评论内容,以免被识别为垃圾评论而导致无法正常审核。)

☆版权☆

* 网站名称:obaby@mars
* 网址:https://obaby.org.cn/
* 个性:https://oba.by/
* 本文标题: 《秀人集爬虫 【22.04.12】【Windows】【Mac M1】》
* 本文链接:https://obaby.org.cn/2022/04/10066
* 短链接:https://oba.by/?p=10066
* 转载文章请标明文章来源,原文标题以及原文链接。请遵从 《署名-非商业性使用-相同方式共享 2.5 中国大陆 (CC BY-NC-SA 2.5 CN) 》许可协议。


You may also like

120 comments

  1. Level 1
    Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn中国–福建–厦门 电信

    楼主大大您好,之前爬过很多,一直都正常,我今天爬取突然出现这个报错。
    使用的命令是
    H:\XiuRen\[xiurenji]\xiurenji.exe -a -s https://www.xiurenb.net -c https://www.xiurenb.net/MFStar/ -p H:\XiuRen\MFStar模范学院\

    ——我一开始以为网站识别到爬虫,把我ip加入黑名单了,但浏览器网页能正常访问;我重启光猫获取新ip(我家是真公网ip,不是大内网),仍然是以下报错。
    ——然后怀疑程序损坏,重新解压压缩包,再次运行还是同样报错。
    ——最后我换另一台电脑,能够正常爬取,怀疑是DNS缓存之类的问题(这一点不是很懂死马当活马医),清空缓存再获取DNS记录,还是这个报错。
    ——现在我有两个怀疑,一个是windows系统问题,目前重装系统我不是很乐意,没有尝试;另一个猜测是网站对“机器识别码”什么的进行精准封禁?
    求解答,感谢楼主大大!

    [*] 2022-05-18 05:19:00 CAT: 单分类爬取,分类地址:https://www.xiurenb.net/MFStar
    Traceback (most recent call last):
    File “xiurenji.py”, line 433, in
    File “xiurenji.py”, line 423, in main
    File “xiurenji.py”, line 303, in site_crawler
    File “xiurenji.py”, line 226, in get_sub_pages
    File “xiurenji.py”, line 56, in proxy_get
    File “requests\api.py”, line 76, in get
    File “requests\api.py”, line 61, in request
    File “requests\sessions.py”, line 542, in request
    File “requests\sessions.py”, line 655, in send
    File “requests\adapters.py”, line 439, in send
    File “urllib3\connectionpool.py”, line 696, in urlopen
    File “urllib3\connectionpool.py”, line 964, in _prepare_proxy
    File “urllib3\connection.py”, line 359, in connect
    File “urllib3\connection.py”, line 500, in _connect_tls_proxy
    File “urllib3\util\ssl_.py”, line 453, in ssl_wrap_socket
    File “urllib3\util\ssl_.py”, line 495, in _ssl_wrap_socket_impl
    File “ssl.py”, line 500, in wrap_socket
    File “ssl.py”, line 997, in _create
    ValueError: check_hostname requires server_hostname
    [1036] Failed to execute script xiurenji

  2. Level 1
    Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn中国–上海–上海 联通

    接上一楼 (“楼主大大您好,之前爬过很多,一直都正常,我今天爬取突然出现这个报错。
    使用的命令是……”)
    问题解决了。
    不好意思,我的锅,我再查了一下,是网络代理问题
    我的v2ray一直用的“不改变系统代理”,我因为一些原因切换了代理模式,改成了“自动配置系统代理”,这个操作把系统代理设置给更改了,我返回“不改变系统代理”模式后,系统的代理设置没有还原,站长的软件用系统配置的代理设置联网,失败了。。。就这样,打扰了,诚挚道歉,耽搁您时间了。

    1. Level 1
      Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 unknown亚太地区

      虽然有点冒昧,但还是想请求一下,如果可以的话,能不能加一个重命名功能,套图浏览顺序还是很影响欣赏体验的。

    2. Level 1
      Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn中国–福建–厦门 电信

      我好像有点啰嗦了,斯密马萨,再嗦一句。
      1. 最近爬取中途报错终止的情况越来越频繁了,大部分反馈都是“对方服务器未响应”或“对方服务器终止了连接”,合理怀疑秀人集网站把反爬机制设严格了,所以下一个版本能不能做一点“主动延迟请求指令”“增加重试次数”“延长超时时间”等措施来规避网站的反爬策略。
      2. 对于中途报错的进程我的一般措施是:查看最后爬取目录,删除该目录,然后再次启动程序。虽然不复杂,但还是挺累的,所以能不能加一个机制——“报错终止时,将当前正在处理的套图目录删除”,这样就可以不手动去资源管理器里删除这个未爬取完成的套图目录,可以直接重启程序,大大提高爬取效率。当然如果能在进行完这个流程后再次自动运行,直到完全刮削完,那就更好了。现在我几乎需要全程值守在程序面前,挺累的。
      如果我的回复要求让您觉得我“站着说话不腰疼”“屁事儿多”,我先道歉,但千万别生气放弃这个项目,那我就成全站罪人了。
      最后再次感谢站长大大辛苦码代码!

      1. 公主 Queen 
        Google Chrome 100 Google Chrome 100 Windows 10 Windows 10 cn中国–山东–青岛 联通

        1. 这个基本都是网络问题导致的,可以看下自己的网络情况。
        重试机制通过下面的死循环解决。
        chcp 65001
        echo "Start spider"
        title xiurenji spider
        echo off
        :loop
        F:\Pycharm_Projects\meitulu-spider\dist\v2ph\v2ph.exe -a -p "I:\微图坊"
        goto :loop

        2. 重命名功能,套图浏览顺序还是很影响欣赏体验的。
        目前是按照标题命名,为了再次爬取时不在重复下载。要看图建议安装看图软件picasa。用windows资源管理器看,那就算了吧。
        另外,后期图片太多了,建议使用picasa标记,或者喜欢的拷贝出来,不会有时间看每张图片de~~
        img
        f
        p[

        1. Level 1
          Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn中国–上海–上海 联通

          感谢站长大大回复,关于重命名,我可能没有解释清楚,我想表达的是每套图里每张照片的重命名。
          现在貌似是直接保留图片原文件名,这样只有应用“创建时间正序排列”时,图片内容前后顺序(额~就是一开始严严实实,后面emmm,这种顺序)才能正确排列。
          虽然可以全局应用这种排序,但是上一级文件夹套图顺序可能由于多线程爬取,创建顺序与套图编号顺序不一致。
          所以说,如果站长大大有继续维护这个项目的打算的话,可不可以考虑将每张图在下载后,在单个套图内按顺序重命名编号,这样全局应用“标题排序”就可以了。比如群晖的synology photos这种浏览体验就会更好。
          再次感谢!

          1. 公主 Queen 
            Google Chrome 100 Google Chrome 100 Mac OS X 10.15 Mac OS X 10.15 cn中国–山东–青岛 联通

            文件夹内的文件貌似也不多啊,有必要重新命名吗?一个目录内的文件创建时间也差不了多久~~

  3. Level 1
    Firefox 100 Firefox 100 GNU/Linux GNU/Linux cn中国–北京–北京 教育网/北京中医药大学

    非常感谢,支持一下。

  4. Level 1
    Firefox 100 Firefox 100 GNU/Linux GNU/Linux cn中国–北京–北京 教育网/北京中医药大学

    不知道咋回事,勾选以后浏览器并没有保存信息……一时间想不起来是不是发了评论才想起来勾选G

  5.  Level 1
    Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn中国–北京–北京 移动

    真太赞了,谢谢大佬分享

  6.  Level 1
    Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn中国–北京–北京 移动

    有可以在群晖上运行的吗

  7.  Level 1
    Microsoft Edge 101 Microsoft Edge 101 Windows 10 Windows 10 cn中国–台湾–台北市 中华电信

    非常感謝 交叉研究一下

  8.  Level 2
    Firefox 101 Firefox 101 Windows 10 Windows 10 cn中国–黑龙江–哈尔滨 联通

    感谢大佬分享
    受教了。

  9.  Level 1
    Google Chrome 102 Google Chrome 102 Windows 10 Windows 10 cn中国–黑龙江–牡丹江 中移铁通

    换个网站试试,原来的总超时。

  10.  Level 1
    Google Chrome 102 Google Chrome 102 Windows 10 Windows 10 cn中国–湖北–武汉 电信

    希望大佬分享,学习中。。。

  11.  Level 1
    Google Chrome 102 Google Chrome 102 Windows 10 Windows 10 cn中国–湖北–武汉 电信

    大佬牛X,好用。。太赞了!!

  12.  Level 1
    WebView 4 WebView 4 Android 10 Android 10 cn中国–陕西–西安 联通

    感谢版主,下载学习下,之前自己写过没实现批量下载

  13. Level 1
    Google Chrome 103 Google Chrome 103 Windows 10 Windows 10 cn中国–广东–中山 移动

    学习中。美女只在屏幕中能看到,有什么办法让她到现实中来………..

  14. Level 1
    QQbrowser 10 QQbrowser 10 Windows 10 Windows 10 cn中国–江苏 电信/全省通用

    感谢版主,下载学习下,之前自己写过没实现批量下载

  15. Level 1
    Google Chrome 103 Google Chrome 103 Windows 10 Windows 10 cn中国–广东–深圳 电信

    感谢大佬,还是比较喜欢这个网站哈哈哈,真是造福lsp

  16. Level 1
    Microsoft Edge 103 Microsoft Edge 103 Windows 10 Windows 10 cn中国–内蒙古–呼和浩特 联通

    发完评论不可以关浏览器吗,怎么还是显示需要评论。。。

  17. Level 1
    Google Chrome 102 Google Chrome 102 Windows 10 Windows 10 cn中国–四川–成都 电信

    感谢分享,观摩学习,初学…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注