业余爱好『Favourite』

秀人集爬虫

112 条评论

 功能：支持全站爬取，搜索爬取。想下载什么内容自己定制，目前版本不支持独立页面下载，后续可能会考虑支持，目前我的目标是为了爬取整个网站，所以单页面下载功能不一定会做，即使做了也不一定什么时候会上。 参数说明：

xiurenji.exe 可执行文件名称
帮助：
-h 显示帮助说明
必选参数：
-a 整站爬取
-q 搜索爬取，针对关键字搜索之后对于搜索结果页进行爬取
可选参数：
-p 制定下载目录，默认下载路径为当前exe所在目录下的images文件夹

Continue Reading

业余爱好『Favourite』

Python3 requests 下载进度条

没有评论

 

代码：

def proxy_get_content_stream(url):
    if is_use_proxy:
        socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT)
        socket.socket = socks.socksocket
    return requests.get(url, headers=HEADERS, stream=True, timeout=300)
def save_image_from_url_with_progress(url, cnt):
    with closing(proxy_get_content_stream(url)) as response:
        chunk_size = 1024  # 单次请求最大值
        content_size = int(response.headers['content-length'])  # 内容体总大小
        data_count = 0
        with open(cnt, "wb") as file:
            for data in response.iter_content(chunk_size=chunk_size):
                file.write(data)
                data_count = data_count + len(data)
                now_position = (data_count / content_size) * 100
                print("\r[D] 下载进度： %s %d%%(%d/%d)" % (int(now_position) * '▊' + (100 - int(now_position)) * ' ',
                                                      now_position,
                                                      data_count,
                                                      content_size,), end=" ")
        print('')
Continue Reading

业余爱好『Favourite』

美图录 爬虫

15 条评论 

****************************************************************************************************
       _           _             ____                           
  ___ | |__   __ _| |__  _   _  / __ \ _ __ ___   __ _ _ __ ___ 
 / _ \| '_ \ / _` | '_ \| | | |/ / _` | '_ ` _ \ / _` | '__/ __|
| (_) | |_) | (_| | |_) | |_| | | (_| | | | | | | (_| | |  \__ \
 \___/|_.__/ \__,_|_.__/ \__, |\ \__,_|_| |_| |_|\__,_|_|  |___/
                         |___/  \____/                          

美图录爬虫
Verson: 21.6.15
Blog: http://www.h4ck.org.cn
****************************************************************************************************
****************************************************************************************************
[*] 2021-06-16 21:00:11 CAT: 开始分析分类信息......
[*] 2021-06-16 21:00:11 泳装: http://www.meitulu.cn/t/yongzhuang/
[*] 2021-06-16 21:00:11 可爱: http://www.meitulu.cn/t/keai/
[*] 2021-06-16 21:00:11 日本美女: http://www.meitulu.cn/t/ribenmeinv/
Continue Reading

业余爱好『Favourite』

BeautifulSoup4 中文乱码

没有评论

BeautifulSoup4解析页面的时候发现有一部分内容是乱码，刚开始还以为是pycharm的问题，后来发现可能问题不是出在pycharm上，因为普通的print打印的中文是没有问题的。测试代码如下：

def proxy_get(url):
    if is_use_proxy:
        socks.set_default_proxy(socks.SOCKS5, PROXY_HOST, PROXY_PORT)
        socket.socket = socks.socksocket
    req = requests.get(url, headers=HEADERS)
    return req.text


def get_sub_pages_test(url):
    '''
    http://www.meitulu.cn/t/shishen/
    :param url:
    :return:
    '''
    bs = BeautifulSoup(proxy_get(url), "html.parser")
    boxes = bs.find('div', class_='boxs')
    lis = boxes.find_all('li')
    log_text('PAGE', '开始分析页面链接', is_begin=True)
    for l in lis:
        p = l.find('p', class_='p_title')
        print( p.text)
Continue Reading

业余爱好『Favourite』

色情网站发展历史

没有评论

当你在凝视深渊的时候，深渊也在凝视着你 -- 尼采《善恶的彼岸》

什么是网络色情？严谨的定义就是：凡是网络上以性或人体裸露为主要诉求的讯息，其目的在于挑逗引发使用者的性欲，表现方式可以是透过文字、声音、影像、图片、漫画等。

网络色情发展史

  • 互联网萌芽年代 邮件传输——当时在大学科研院所以及一些公司，已经有人通过软盘、邮件来传输一些来自台湾、日本的纯色情文字。

  • 互联网普及年代 搜索引擎之SEX和XXX搜索——有了搜索引擎，给网络色情的中国的发展带了巨大的发展。96年的YAHOO,97年国内的SOHOO，其搜索结构中，SEX和XXX主体字的搜索占了很大的比例。

  • 互联网发展年代 个人主页、情色电影、明星图片、性爱课堂、色情文学

  1. 个人网站初期，色情的躲避和小范围传播：98年，国内的碧海银沙和网易推出了免费申请的个人主页空间，网络用户大量增加。当时的政策是，一旦发现某个个人网站中有色情成分，如果被空间提供商发现，就会停止器个人空间，如果被公安局发现，就会连带影响到整台服务器。 门户网站的边缘内容从情色电影、明星图片到性爱课堂：99年国内开始出现门户的概念，以大内容吸引更多网民访问的网站，已经主动提供了一些可算可不算色情的内容，比如提供情色电影海报，介绍等，特别是各种明星图片。

Continue Reading
Close Menu