Python3 – 第 3 页

Porn Data Anaylize — Spark安装

2020年8月25日没有评论

spark默认使用的Python版本为2，可以修改.bashrc文件让spark默认使用python3。修改.bashrc增加如下行：

# anaconda
export ANACONDA_HOME=/home/dbuser/anaconda3/
export PATH=$ANACONDA_HOME:$PATH
# spark
export PYSPARK_PYTHON=/home/dbuser/anaconda3/bin/python3

然后重新启动pyspark就是3了，anaconda下的python文件版本也是2。

业余爱好『Favourite』

ModuleNotFoundError: No module named ‘cryptography.hazmat.bindings._padding’

2020年6月18日没有评论

ubuntu下执行命令出现如下错误：

ubuntu@ip-172-31-11-253:~/nineuu_spider/Maomi$ python3 maomi.py
Traceback (most recent call last):
  File "maomi.py", line 8, in 
    from cryptography.hazmat.primitives import padding
  File "/usr/lib/python3/dist-packages/cryptography/hazmat/primitives/padding.py", line 13, in 
    from cryptography.hazmat.bindings._padding import lib
ModuleNotFoundError: No module named 'cryptography.hazmat.bindings._padding'

但是实际上cryptography模块已经安装了：

如果要解决这个错误，安装paramiko即可：

pip3 install paramiko

业余爱好『Favourite』

missdica.com爬虫【美女图片爬虫】

2020年3月18日 2 条评论

最终爬取效果如上图所示，需要注意的是域名被大墙屏蔽了，只能通过ip进行访问，代码已经进行了相关处理。

Mac OSX『Mac OS』

OSX pip3 install mysqlclient

2020年2月10日一条评论

在家办公于是将工作环境换到了mac，配置环境的时候安装mysqlclient出现了下面的错误：

(venv_home_mini) obaby@Obabys-Mac-mini taichigameserver % pip3 install mysqlclient
Collecting mysqlclient
  Using cached https://files.pythonhosted.org/packages/d0/97/7326248ac8d5049968bf4ec708a5d3d4806e412a42e74160d7f266a3e03a/mysqlclient-1.4.6.tar.gz
    Complete output from command python setup.py egg_info:
    /bin/sh: mysql_config: command not found
    /bin/sh: mariadb_config: command not found
    /bin/sh: mysql_config: command not found
    Traceback (most recent call last):
      File "", line 1, in 
      File "/private/var/folders/gf/qbbv4crd5m9f1vkz5066dvyw0000gn/T/pip-install-m5gv0sbr/mysqlclient/setup.py", line 16, in 
        metadata, options = get_config()
      File "/private/var/folders/gf/qbbv4crd5m9f1vkz5066dvyw0000gn/T/pip-install-m5gv0sbr/mysqlclient/setup_posix.py", line 61, in get_config
        libs = mysql_config("libs")
      File "/private/var/folders/gf/qbbv4crd5m9f1vkz5066dvyw0000gn/T/pip-install-m5gv0sbr/mysqlclient/setup_posix.py", line 29, in mysql_config
        raise EnvironmentError("%s not found" % (_mysql_config_path,))
    OSError: mysql_config not found
    
    ----------------------------------------
Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/gf/qbbv4crd5m9f1vkz5066dvyw0000gn/T/pip-install-m5gv0sbr/mysqlclient/

网上搜了一下说安装mysql-connector-c ，但是安装之后依然报错。于是尝试安装mysql，安装mysql之后解决该问题，其实出问题的地方在于这个命令找不到，如果直接在终端中执行mysql_config如果能够执行成功，那么只需要创建个软连接就可以解决这个问题。

(venv_home_mini) obaby@Obabys-Mac-mini taichigameserver % mysql_config
Usage: /usr/local/bin/mysql_config [OPTIONS]
Compiler: AppleClang 11.0.0.11000033
Options:
        --cflags         [-I/usr/local/Cellar/mysql/8.0.19/include/mysql ]
        --cxxflags       [-I/usr/local/Cellar/mysql/8.0.19/include/mysql ]
        --include        [-I/usr/local/Cellar/mysql/8.0.19/include/mysql]
        --libs           [-L/usr/local/Cellar/mysql/8.0.19/lib -lmysqlclient -lssl -lcrypto]
        --libs_r         [-L/usr/local/Cellar/mysql/8.0.19/lib -lmysqlclient -lssl -lcrypto]
        --plugindir      [/usr/local/Cellar/mysql/8.0.19/lib/plugin]
        --socket         [/tmp/mysql.sock]
        --port           [0]
        --version        [8.0.19]
        --variable=VAR   VAR is one of:
                pkgincludedir [/usr/local/Cellar/mysql/8.0.19/include/mysql]
                pkglibdir     [/usr/local/Cellar/mysql/8.0.19/lib]
                plugindir     [/usr/local/Cellar/mysql/8.0.19/lib/plugin]

安装命令：

brew install mysql

如果没有安装homebrew，通过下面的命令安装：

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

后台开发『BackEnd』

ubuntu 18.04 pip3 install mysqlclient

2020年1月13日没有评论

不知道是阿里云的问题还是ubuntu本身的问题，今天安装mysqlclient提示：

/usr/bin/ld: cannot find -lssl
/usr/bin/ld: cannot find -lcrypto
collect2: error: ld returned 1 exit status
error: command ‘x86_64-linux-gnu-gcc’ failed with exit status 1

网上搜了一下没有发现类似的错误信息，于是转换思路直接搜索: /usr/bin/ld: cannot find -lssl 在这篇文章看到了解决方案：

https://blog.51cto.com/eminzhang/1285705

业余爱好『Favourite』

韩国美女模特爬虫

2019年12月26日没有评论

对于美女的热爱无法自拔 😆 ，经常会去搜索一些美女图片，下载下来，然后找时间慢慢欣赏。主要用途是用作电脑桌面手机桌面，通常会百度或者bing去搜索下找到图片下载。相对来说能够直接用作桌面的图片并不多，多数是尺寸问题，并不是十分合适。但是即使不能直接用，可以用ps修改下图片尺寸，或者欣赏也是好的啊。 🙂

以前曾经从一个网站mzitu.com 爬了一些图片，但是最近访问的时候却发现网站挂了~~

人工智能『AI』

基于DFA的敏感词过滤

2019年11月28日没有评论

在计算理论中，确定有限状态自动机或确定有限自动机（英语：deterministic finite automaton, DFA）是一个能实现状态转移的自动机。对于一个给定的属于该自动机的状态和一个属于该自动机字母表{\displaystyle \Sigma }Σ的字符，它都能根据事先给定的转移函数转移到下一个状态