Artificial Intelligence / Reverse Engineering / Internet of Things / Full Stack Developer
更新日志： 22.9.4 1.调整超时时间为10秒 2.换了个进度条 3.下载异常处理可能不生效的问题 22.4.12 增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。 22.1.18 1.兼容更新后的秀人集网站，支持搜索以及全站爬取。 2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。 22.1.20 1.修复页面异常可能导致的异常终止 22.1.24 1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。 2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。
更新记录： 1. 修复了地址中由于/引起的404问题。
更新记录： 1.修复部分页面链接失效导致创建目录之后不能下载的问题； 2.修复登录模式下超出浏览次数导致下载失败的问题，提前结束进程；
我增加了几个重要的参数：
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-r <random index category list> （该参数会重新排列分类列表，可以开启多个进程同时进行爬取）
-c <single category url> （支持单分类爬取，如果只想爬取某一个分类请使用该参数）
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************
***********************************************************************************
参数说明：
/Users/zhongming/PycharmProjects/meitulu/dist/xiurenji/xiurenji
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
***********************************************************************************
参数说明：
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
-a <download all site images>
-q <query the image with keywords>
-h <display help text, just this>
Option Arguments:
-p <image download path>
-s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************
xiurenji.exe 可执行文件名称 帮助： -h 显示帮助说明 必选参数： -a 整站爬取 -q 搜索爬取，针对关键字搜索之后对于搜索结果页进行爬取 可选参数： -p 指定下载目录，默认下载路径为当前exe所在目录下的images文件夹 -s 指定服务器地址，例如：http://www.xiurenji.vip url不要带最后的/
更新日志：
增加-s 参数支持： -s 指定服务器地址，例如：http://www.xiurenji.vip url不要带最后的/