最近在研究faceswap相关的内容，通过百度搜索了各种教程之后，发现相关的文章不少，但是内容基本一致，差不多的复制粘贴。按照帖子中的操作步骤进行之后发现效果不忍直视，具体的替换之后的图就不贴了。直到从官网看到相关的文章之后才发现那些简明操作步骤基本都是错误的。
原始文章链接：https://forum.faceswap.dev/viewtopic.php?f=5&t=27 包括一些名词解释也可以参考这个链接。本文只是简单记录下相关的步骤。其余的一些内容可以参考原文链接。
1. 提取人脸数据
秀人集爬虫 【21.9.21】【Windows】
xiurenji.exe 可执行文件名称 帮助： -h 显示帮助说明 必选参数： -a 整站爬取 -q 搜索爬取，针对关键字搜索之后对于搜索结果页进行爬取 可选参数： -p 指定下载目录，默认下载路径为当前exe所在目录下的images文件夹 -s 指定服务器地址，例如：http://www.xiurenji.vip url不要带最后的/
更新日志：
增加-s 参数支持： -s 指定服务器地址，例如：http://www.xiurenji.vip url不要带最后的/
秀人集爬虫
功能：支持全站爬取，搜索爬取。想下载什么内容自己定制，目前版本不支持独立页面下载，后续可能会考虑支持，目前我的目标是为了爬取整个网站，所以单页面下载功能不一定会做，即使做了也不一定什么时候会上。 参数说明：
xiurenji.exe 可执行文件名称 帮助： -h 显示帮助说明 必选参数： -a 整站爬取 -q 搜索爬取，针对关键字搜索之后对于搜索结果页进行爬取 可选参数： -p 制定下载目录，默认下载路径为当前exe所在目录下的images文件夹
Python3 requests 下载进度条
代码：
def proxy_get_content_stream(url):
if is_use_proxy:
socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT)
socket.socket = socks.socksocket
return requests.get(url, headers=HEADERS, stream=True, timeout=300)
def save_image_from_url_with_progress(url, cnt):
with closing(proxy_get_content_stream(url)) as response:
chunk_size = 1024 # 单次请求最大值
content_size = int(response.headers['content-length']) # 内容体总大小
data_count = 0
with open(cnt, "wb") as file:
for data in response.iter_content(chunk_size=chunk_size):
file.write(data)
data_count = data_count + len(data)
now_position = (data_count / content_size) * 100
print("\r[D] 下载进度： %s %d%%(%d/%d)" % (int(now_position) * '▊' + (100 - int(now_position)) * ' ',
now_position,
data_count,
content_size,), end=" ")
print('')
美图录 爬虫
****************************************************************************************************
_ _ ____
___ | |__ __ _| |__ _ _ / __ \ _ __ ___ __ _ _ __ ___
/ _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | | \__ \
\___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_| |___/
|___/ \____/
美图录爬虫
Verson: 21.6.15
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2021-06-16 21:00:11 CAT: 开始分析分类信息......
[*] 2021-06-16 21:00:11 泳装: http://www.meitulu.cn/t/yongzhuang/
[*] 2021-06-16 21:00:11 可爱: http://www.meitulu.cn/t/keai/
[*] 2021-06-16 21:00:11 日本美女: http://www.meitulu.cn/t/ribenmeinv/
BeautifulSoup4 中文乱码
BeautifulSoup4解析页面的时候发现有一部分内容是乱码，刚开始还以为是pycharm的问题，后来发现可能问题不是出在pycharm上，因为普通的print打印的中文是没有问题的。测试代码如下：
def proxy_get(url):
if is_use_proxy:
socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT)
socket.socket = socks.socksocket
req = requests.get(url, headers=HEADERS)
return req.text
def get_sub_pages_test(url):
'''
http://www.meitulu.cn/t/shishen/
:param url:
:return:
'''
bs = BeautifulSoup(proxy_get(url), "html.parser")
boxes = bs.find('div', class_='boxs')
lis = boxes.find_all('li')
log_text('PAGE', '开始分析页面链接', is_begin=True)
for l in lis:
p = l.find('p', class_='p_title')
print( p.text)
妹子图爬虫
色情网站发展历史
当你在凝视深渊的时候，深渊也在凝视着你 -- 尼采《善恶的彼岸》
什么是网络色情？严谨的定义就是：凡是网络上以性或人体裸露为主要诉求的讯息，其目的在于挑逗引发使用者的性欲，表现方式可以是透过文字、声音、影像、图片、漫画等。
网络色情发展史
-
互联网萌芽年代 邮件传输——当时在大学科研院所以及一些公司，已经有人通过软盘、邮件来传输一些来自台湾、日本的纯色情文字。
-
互联网普及年代 搜索引擎之SEX和XXX搜索——有了搜索引擎，给网络色情的中国的发展带了巨大的发展。96年的YAHOO,97年国内的SOHOO，其搜索结构中，SEX和XXX主体字的搜索占了很大的比例。
-
互联网发展年代 个人主页、情色电影、明星图片、性爱课堂、色情文学
-
个人网站初期，色情的躲避和小范围传播：98年，国内的碧海银沙和网易推出了免费申请的个人主页空间，网络用户大量增加。当时的政策是，一旦发现某个个人网站中有色情成分，如果被空间提供商发现，就会停止器个人空间，如果被公安局发现，就会连带影响到整台服务器。 门户网站的边缘内容从情色电影、明星图片到性爱课堂：99年国内开始出现门户的概念，以大内容吸引更多网民访问的网站，已经主动提供了一些可算可不算色情的内容，比如提供情色电影海报，介绍等，特别是各种明星图片。