套图网爬虫[预览版] 23.07.02–天啦噜,有人来砸姐姐场子啦!

之前有人在评论区留言,想让姐姐加一个网站爬虫。但是呢,随便搂了一眼发现是wp的系统,和之前做的页面完全不兼容啊。就没想做,结果好嘛。这两天有人在后台留言了,说感谢提供的网址,然后ta自己写了一个。最重要的是还不共享,这姐姐能忍?叔能忍,婶不能忍啊!!

Continue Reading

Domain Admin–域名 证书到期监控

今天在论坛看到这么一个工具,用来监控域名到期时间的。之前已经整理过一次手里的各种域名,各个地方都有比较分散,这次整到一块,一看霍,还真不少。忽然感觉自己像个仓鼠,什么东西都想收集。明知道收集了貌似也没什么用,但是还是忍不住啊。这就很蛋疼了。

Continue Reading

二三事

大概半月前车机的行车记录仪不工作了。检查了一下发现是U盘挂掉了,识别不到分区。拿回来放到mac上格盘失败,最终在windows下给格掉了。昨天发现屏幕的小红点又不见了,想着可能还是U盘问题,拿回来继续格盘,这次在mac上成功了。重新插回去又能用了,不过老觉得这个U盘快寿终正寝了。如果没记错的话应该是14年的u盘,当然在车上用的时间没这么长。可能是在买了东芝的U盘之后(当时64GU盘,貌似只有这一个牌子)。才放到车上,这么算来用了大约也有五六年了。现在的U盘价格从之前的一块钱1m到现在5毛钱1g,存储容量大大提升了,价格便宜的更多。

Continue Reading

安康吗?

要爬取点数据,代码一运行就提示正在使用爬虫访问网站,删除爬虫后再次访问,ip地址被封了。搜索的时候看到了一篇关于爬虫里面用的ip代理库的帖子,开始筛选代理。已经跑了一个多小时,整体看来可用的代理地址不多。就在等待的时候往窗外看了一眼,天越来越黑了。温度也下降了很多。想到了前两天回老家的那个温度,手表上显示的是39℃,而这个应该是为了卡40℃的红线,故意降低了。体感温度远超过39度。

Continue Reading

HTTrack Website Copier [网站下载器]

今天需要下载一个静态页面的网站,本来想直接保存html的结果看了一下页面贼多,于是果断放弃了。找工具进行处理,搜索了一下找到了这个开源免费的。用了一下效果还不错。

HTTrack is a free (GPL, libre/free software) and easy-to-use offline browser utility.

It allows you to download a World Wide Web site from the Internet to a local directory, building recursively all directories, getting HTML, images, and other files from the server to your computer. HTTrack arranges the original site’s relative link-structure. Simply open a page of the “mirrored” website in your browser, and you can browse the site from link to link, as if you were viewing it online. HTTrack can also update an existing mirrored site, and resume interrupted downloads. HTTrack is fully configurable, and has an integrated help system.

WinHTTrack is the Windows (from Windows 2000 to Windows 10 and above) release of HTTrack, and WebHTTrack the Linux/Unix/BSD release. See the download page.

Continue Reading

羊毛战记

最近有部美剧正在上映,叫做《羊毛战记》。英文名为《silo》,直译过来就是筒仓。其实中文名称不是十分直观,目前我看完了前六集。讲的依然是在世界末日之后,所有的人都生活到了底下的一个圆柱形的深井内。深井外面是原来的世界,两个世界通过一个摄像头相连,能看到外面世界的样子。随着时间的推移摄像头会越来越脏,这时候就需要有人去清理。而清理的人,就是在筒仓内犯错的人。不过,这是一个单程票,出去就再也回不来了。这个结构叫筒仓其实也不太合适,国内的粮仓基本都是向上生长的,国外的可能也是?

Continue Reading

性感美女 爬虫<重构版> [Windows] [23.05.21]

更新日志:
1.重构下载代码
2.重写了一部分代码逻辑
3.这个是5月份的代码,忘了发了。哈哈哈
参数:
C:\Users\obaby>F:\Pycharm_Projects\meitulu-spider\dist\xgmn8_v2.exe
****************************************************************************************************
USAGE:
spider -h <help> -a <all> -q <search> -e <early stop>
Arguments:
         -a <download all site images>
         -q <query the image with keywords>
         -h <display help text, just this>
Option Arguments:
         -p <image download path>
         -r <random index category list>
         -c <single category url>
         -e <early stop, work in site crawl mode only>
         -s <site url eg: https://www.jpxgmn.net (no last backslash "/")>
****************************************************************************************************

Continue Reading