Artificial Intelligence / Reverse Engineering / Internet of Things / Full Stack Developer
接引前文《Windows 10 yolov5 GPU环境》，配置完成之后，一度因为虚拟内存没什么太大用处。原有设置的虚拟内存c盘（系统盘）为4096-8192。在我将虚拟内存改成1024-2048之后，然后tm报错了。就是上面的的这个错误：RuntimeError: Unable to find a valid cuDNN algorithm to run convolution。但是实际上，错误和cuda没有直接关系，目前我还不太清楚为什么虚拟内存直接关系到了cuda的运行环境，或者说pytorch的运行环境。网上搜了一下也没找到相关的资料，主要应该是我的理解太浅显。
测试训练集二十几张图片，在m1 mac上的运行时间一共8.084 小时，共152 epochs。对于这个计算速度还是比较让人吃惊的，这个效率也太低了。对于需要处理图像的训练这个速度也无法让人接受。
152 epochs completed in 8.084 hours. Optimizer stripped from runs/train/exp3/weights/last.pt, 14.4MB Optimizer stripped from runs/train/exp3/weights/best.pt, 14.4MB wandb: Waiting for W&B process to finish, PID 63332 wandb: Program ended successfully. wandb: Find user logs for this run at: /Users/zhongming/PycharmProjects/yolov5/wandb/offline-run-20210913_191626-18h6dxo0/logs/debug.log wandb: Find internal logs for this run at: /Users/zhongming/PycharmProjects/yolov5/wandb/offline-run-20210913_191626-18h6dxo0/logs/debug-
网上关于yolov5 gpu环境搭建的文章也是一抓一大把，但是实际上好用不好用并不清楚。所以要想按照那些所谓的教程安装配置，很可能会失败。当然按照我的文章进行安装配置也可能会失败。逼乎上有个帖子问新手学习一门语言该不该用ide，还有一大群人建议新手配置各种环境，用sb vim等编辑器，配置各种执行路径，各种源代码路径、库路径。这tm一个ide就解决的问题，非得折腾半天，这是为了让没入门的赶紧放弃？
我简单的说一下我的安装流程：
1.下载cuda安装文件，https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_network 安装cuda，默认一路next 即可。
2.安装pytorch-gpu，yolov5的运行环境主要依赖于pytorch。通过官网https://pytorch.org可以找到对应的安装命令：
YOLOv5 🚀 is a family of object detection architectures and models pretrained on the COCO dataset, and represents Ultralytics open-source research into future vision AI methods, incorporating lessons learned and best practices evolved over thousands of hours of research and development.
1. 环境搭建
自动广告跳过这个想法,不过由于各种原因一直没有实时。知道最近才又重新开始折腾这个东西,yolov5的安装这里就不再说明了，建议使用anaconda安装。我创建了一个conda环境可以直接下载之后通过conda安装：
# 1. conda 环境地址：https://anaconda.org/obaby/yolov5 # 2. 下载对应操作系统的环境yml脚本 # 3. 在Terminal 或者 an Anaconda Prompt内执行 conda env create user/my-environment source activate my-environment
如果不想使用上面的安装方法可以参考：https://blog.csdn.net/oJiWuXuan/article/details/107558286 和https://github.com/ultralytics/yolov5 按照官方指导进行安装。
最近尝试在m1的mac上安装tensorflow，网上的教程比较多，但是不管怎么折腾都会出现各种问题。安装github上apple分支的TensorFlow不管怎么折腾都提示下面的错误：
FaceSwap 是一个利用深度学习来识别图片和视频中的人脸，并进行变换人脸的工具。
这几天一直在折腾faceswap，安装过程中发现各种神奇的bug。首先第一个就是github无法正常访问的问题，clone代码的时候各种提示服务器连接超时。可以修改hosts文件添加以下内容：
# github
#192.30.255.113 github.com
#192.30.255.113 gist.github.com
#151.101.52.133 raw.githubusercontent.com
#151.101.53.194 github.global.ssl.fastly.net
140.82.114.4 github.com
199.232.69.194 github.global.ssl.fastly.net
添加之后执行dns刷新：
ipconfig /flushdns
然后github基本就可以正常访问了。安装完成之后发现出现了另外一个问题，提示没有tensorflow-gpu环境。但是尝试执行安装时又提示下面的错误：
'''
--------------------------------------------------------------------------------
福利数据解析
基础数据分析，标题分词，词频统计
-----------------------------------
by:obaby
email: root@obaby.org.cn
blog:http://www.h4ck.org.cn
===================================
参考链接：https://sparkbyexamples.com/pyspark/select-columns-from-pyspark-dataframe/
-------------------------------------------------------------------------------
'''
import jieba
# 通过spark read csv格式文件，从csv header解析数据结构
csv = spark.read.option("header",True).csv("hdfs://localhost:9000/data2/porn_data_movie.csv")
# 数据格式
csv.printSchema()
root
|-- id: string (nullable = true)
|-- create: string (nullable = true)
|-- update: string (nullable = true)
|-- name: string (nullable = true)
|-- describe: string (nullable = true)
|-- source_id: string (nullable = true)
|-- publish_time: string (nullable = true)
|-- play_count: string (nullable = true)
|-- good_count: string (nullable = true)
|-- bad_count: string (nullable = true)
|-- link_count: string (nullable = true)
|-- comment_count: string (nullable = true)
|-- designation: string (nullable = true)
|-- category_id: string (nullable = true)
|-- porn_site_id: string (nullable = true)
|-- uploader_id: string (nullable = true)
|-- producer: string (nullable = true)