业余爱好『Favourite』

美女图片整理工具 V1.0

2023年1月9日 11 条评论

不知道有没有和姐姐我一样把所有美女的图片都下载下来的，如果没有下载的话可以通过博客的搜索功能搜索爬虫去下载妹子图片了哦。通过爬取的乱七八糟的各种网站，目前粗略的估计所有下载的图片大约有1T左右了。由于各个网站都是分别的下载的，所有下载后的图片会有很多重复的。想找一个图片处理工具，找了半天有个什么推荐的eagle的工具，还是收费的，可以免费试用一个月。结果我把下载的图片目录加进去直接卡死了。啊哈哈。这就离谱，所以如果没有图片处理需求的还是推荐picasa3，我也有发布一个补丁工具，真的是一代神器。

既然没有现成的工具，那就写一个吧，具体的要求：

1.能够把所有文件复制到同一个目录下（这不是废话嘛，就是为了干这个的啊）
2.能够过滤10k以下的非图片文件（多数是由于被爬取网站不稳定导致的下载失败，其实不是图片文件）
3.对于不同网站下载的同一个图片不要重复复制（通过计算文件md5的方法进行规避）
4.能够记录整理日志（当然啊，不然那么多文件中间关机了，岂不是得全部再来一遍）
主要就是上面的几个要求啦~~~

业余爱好『Favourite』

精品美女吧爬虫【Windows】【22.12.23】

2022年12月23日 63 条评论

精品美女吧 爬虫
Verson: 22.12.23
Blog: http://www.h4ck.org.cn
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search> -e <early stop>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
****************************************************************************************************

业余爱好『Favourite』

秀人美女网爬虫【Windows】【22.12.09】

2022年12月9日 59 条评论

更新日志：
调整超时时间为30秒，解决由于服务器解析导致的下载失败。如果效果不好，请下载旧版本。

业余爱好『Favourite』

那些代码托管服务平台

2022年12月7日 5 条评论

github在为支持私有项目之前，很多的代码都是基于bitbucket托管的。整体体验也还算ok。不过有段时间bitbucket服务貌似周期性被墙，尤其是登录跳转，异常的恶心。在bitbucket上托管的代码基本都是非公开的项目，包含各种图片站的爬虫，语音助理等。

Bitbucket 对于个人以及最多具有 5 位用户的小型团队是免费的，并提供无限制的公共和私人存储库。您还可以获得 LFS 的 1 GB 文件存储和 50 分钟的构建时间，以便开始使用 Pipelines。您可以在工作区与所有用户共享构建分钟数和存储。

业余爱好『Favourite』

秀人美女网爬虫【Windows】【22.12.03】

2022年12月3日 49 条评论

F:\Pycharm_Projects\meitulu-spider\venv\Scripts\python.exe F:\Pycharm_Projects\meitulu-spider\xrmnw.py 
****************************************************************************************************
秀人美女网爬虫
Verson: 22.12.03
Blog: http://www.h4ck.org.cn
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search>
Arguments:
     -a <download all site images>
     -q <query the image with keywords>
     -h <display help text, just this>
Option Arguments:
     -p <image download path>
     -r <random index category list>
     -c <single category url>
     -e <early stop, work in site crawl mode only>
     -s <site url eg: http://www.xiurenji.vip (no last backslash "/")>
****************************************************************************************************

业余爱好『Favourite』

Python3 读取Chrome cookie

2022年11月1日 2 条评论

网上搜一下，读取cookie的基本都是这份代码。我也忘了是从那里抄来的了，这里贴一下，对于最新的chrome需要修改下路径：

# chrome 96 版本以下
# filename = os.path.join(os.environ['USERPROFILE'], r'AppData\Local\Google\Chrome\User Data\default\Cookies')
# chrome96 版本以上
# filename = os.path.join(os.environ['USERPROFILE'], r'AppData\Local\Google\Chrome\User Data\default\Network\Cookies')

业余爱好『Favourite』

秀人集爬虫【22.09.04】【Windows】

2022年9月4日 98 条评论

更新日志：
22.9.4
1.调整超时时间为10秒
2.换了个进度条
3.下载异常处理可能不生效的问题
22.4.12
增加-e early stop参数，配合整站爬取使用，单独无效.如果没有完成整站爬取不要使用该参数，终止逻辑过于简单粗暴。首次爬取尽量使用批处理死循环，开多进程处理。
22.1.18
1.兼容更新后的秀人集网站，支持搜索以及全站爬取。
2.修改默认域名为https://www.xiurenji.net（暂时可以不使用-s 参数）。
22.1.20
1.修复页面异常可能导致的异常终止
22.1.24
1.增加-r参数，支持分类重拍，可以开启多个进程进行爬取。说实话就是姐姐太懒了，不想写多线程。
2.增加-c参数，支持爬取特定分类，请直接-c 分类地址。具体参数见下方使用说明。

业余爱好『Favourite』

微图坊爬虫 [Chrome Support]【22.09.04】【Windows】

2022年9月4日 94 条评论

更新记录：
1. 修复了地址中由于/引起的404问题。