代码:
def proxy_get_content_stream(url): if is_use_proxy: socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT) socket.socket = socks.socksocket return requests.get(url, headers=HEADERS, stream=True, timeout=300) def save_image_from_url_with_progress(url, cnt): with closing(proxy_get_content_stream(url)) as response: chunk_size = 1024 # 单次请求最大值 content_size = int(response.headers['content-length']) # 内容体总大小 data_count = 0 with open(cnt, "wb") as file: for data in response.iter_content(chunk_size=chunk_size): file.write(data) data_count = data_count + len(data) now_position = (data_count / content_size) * 100 print("\r[D] 下载进度: %s %d%%(%d/%d)" % (int(now_position) * '▊' + (100 - int(now_position)) * ' ', now_position, data_count, content_size,), end=" ") print('')
实际效果:
**************************************************************************************************** _ _ ____ ___ | |__ __ _| |__ _ _ / __ \ _ __ ___ __ _ _ __ ___ / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __| | (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | | \__ \ \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_| |___/ |___/ \____/ 美图录爬虫 Verson: 21.6.15 Blog: http://www.h4ck.org.cn **************************************************************************************************** **************************************************************************************************** [*] 2021-06-17 15:48:22 QRY: 高跟 开始搜索...... **************************************************************************************************** [*] 2021-06-17 15:48:24 PAGE: 开始分析页面链接 [*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载:[Ligui丽柜] 语寒 - 透视装+肉丝袜高跟美足 [*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8899.html [*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录:[Ligui丽柜] 语寒 - 透视装+肉丝袜高跟美足 [*] 2021-06-17 15:48:24 SKP: 已经存在该目录,跳过。 **************************************************************************************************** [*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载:[ISHOW爱秀] No.047 舒欣然Shirley 超短裙制服高跟 [*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8494.html [*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录:[ISHOW爱秀] No.047 舒欣然Shirley 超短裙制服高跟 [*] 2021-06-17 15:48:24 SKP: 已经存在该目录,跳过。 **************************************************************************************************** [*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载:[Ligui丽柜] 2015.07.30 Model 语寒 肉丝袜高跟OL美女 [*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8552.html [*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录:[Ligui丽柜] 2015.07.30 Model 语寒 肉丝袜高跟OL美女 [*] 2021-06-17 15:48:24 SKP: 已经存在该目录,跳过。 **************************************************************************************************** [*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载:[Ligui丽柜] 允儿 - 黑丝长腿高跟女郎美足诱惑 [*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8535.html [*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录:[Ligui丽柜] 允儿 - 黑丝长腿高跟女郎美足诱惑 [*] 2021-06-17 15:48:24 SKP: 已经存在该目录,跳过。 **************************************************************************************************** [*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载:[Ligui丽柜] 允儿 - 黑丝长腿高跟热裤妹子 [*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8515.html [*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录:[Ligui丽柜] 允儿 - 黑丝长腿高跟热裤妹子 [*] 2021-06-17 15:48:24 SKP: 已经存在该目录,跳过。 **************************************************************************************************** [*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载:[Ligui丽柜] Wendy - 黑丝美腿高跟美足套图 [*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8548.html [*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录:[Ligui丽柜] Wendy - 黑丝美腿高跟美足套图 [*] 2021-06-17 15:48:24 SKP: 已经存在该目录,跳过。 **************************************************************************************************** [*] 2021-06-17 15:48:24 DOWNLOAD: 开始下载:[Ligui丽柜] 佳怡 - 白丝红高跟护士美女 [*] 2021-06-17 15:48:24 DOWNLOAD: http://www.meitulu.cn/item/8544.html [*] 2021-06-17 15:48:24 DOWNLOAD: 下载目录:[Ligui丽柜] 佳怡 - 白丝红高跟护士美女 [*] 2021-06-17 15:48:25 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032013115087.jpg [*] 2021-06-17 15:48:25 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/b37d44c33558e512dd8e98041a65c3d6.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(511593/511593) [*] 2021-06-17 15:48:28 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_2.html [*] 2021-06-17 15:48:29 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032014115089.jpg [*] 2021-06-17 15:48:29 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/2b2f9d418e1ea71d8c1cc160e209cad8.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(381245/381245) [*] 2021-06-17 15:48:32 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_3.html [*] 2021-06-17 15:48:32 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032015115091.jpg [*] 2021-06-17 15:48:32 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/a492b50399a7de3719654974e1061434.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(401774/401774) [*] 2021-06-17 15:48:35 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_4.html [*] 2021-06-17 15:48:36 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032018115098.jpg [*] 2021-06-17 15:48:36 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/dd43b64079ae56ff186bb38423b709a9.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(405808/405808) [*] 2021-06-17 15:48:39 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_5.html [*] 2021-06-17 15:48:39 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032019115100.jpg [*] 2021-06-17 15:48:39 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/1aeeb6b00675d91360cdc235f0d99af3.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(377261/377261) [*] 2021-06-17 15:48:42 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_6.html [*] 2021-06-17 15:48:43 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032019115102.jpg [*] 2021-06-17 15:48:43 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/7b5c581148880f61653e5e67813e46d6.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(392955/392955) [*] 2021-06-17 15:48:46 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_7.html [*] 2021-06-17 15:48:46 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032020115104.jpg [*] 2021-06-17 15:48:46 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/73b5550b4c5ed7df4c0e75570d3cdede.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(362227/362227) [*] 2021-06-17 15:48:49 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_8.html [*] 2021-06-17 15:48:50 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032020115106.jpg [*] 2021-06-17 15:48:50 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/51718d4123fceecbd5eb9f05f733e684.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(426628/426628) [*] 2021-06-17 15:48:53 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_9.html [*] 2021-06-17 15:48:54 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032021115108.jpg [*] 2021-06-17 15:48:54 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/8173e6f01c98fcf394161b0235c4eea5.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(381118/381118) [*] 2021-06-17 15:48:56 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_10.html [*] 2021-06-17 15:48:57 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032022115110.jpg [*] 2021-06-17 15:48:57 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/2a4a6a8123aae46b0cbed9e92767b10d.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(377419/377419) [*] 2021-06-17 15:49:00 IMG: 下载完成,下一页:http://www.meitulu.cn/item/8544_11.html [*] 2021-06-17 15:49:00 IMG: 正在下载:http://image.meitulu.cn/d/file/bigpic/2016/06/28/03/20160628032022115112.jpg [*] 2021-06-17 15:49:00 IMG: 图片保存路径:/Users/zhongming/Private/meitulu/[Ligui丽柜] 佳怡 - 白丝红高跟护士美女/ff29f4797f5ce29a52fc68a172ed8f5c.jpg [D] 下载进度: ▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊▊ 100%(283681/283681)