爬虫文件在服务器上爬取数据的时候下载了很多的数据,为了保存这些数据,给这些数据做个备份于是就想把文件传到s3存储上。其实要上传文件也比较简单,通过awscli命令行工具即可上传。首选需要去aws的后台创建访问安全凭证。点击用户名,选择访问密钥,创建新的访问密钥,下载之后是一个csv文件包含AWSAccessKeyId和AWSSecretKey
在服务器上安装awscli,执行
sudo apt install awscli
安装aws命令行工具。
安装完成之后执行
aws configure
进行配置,输入key和secret即可:
最后两项可以留空。
如果没有在s3的后台创建bucket可以通过下面的命令创建bucket:
aws s3 mb s3://{YOUR-BUCKET-NAME}
创建bucket之后就可以上传文件了:
aws s3 cp fullbak_180105.tar.gz s3://pussy-dog-backup