下载大模型,保存阿里云盘

2023-12-31 20:28:59

一、解决场景

下载模型或数据集,到国内云GPU平台、阿里云盘(便于持久化储存,或者分享朋友)。

及时收藏,下次还能找到!

二、优势

此方法可以避免大文件下载到本地——占用内存,受到小带宽网络的限制。

三、使用工具

大带宽服务器:这个服务器何必你自己的服务器🐶

本期所使用的服务器在下面的表格之中

  • 除AutoDL外,其余的都是的GPU学习打榜平台,可以免费使用GPU,由于我们操作只涉及文件的上传下载,所以尽量不要占用GPU资源,选择cpu环境即可。只要你不用GPU,不就相当于一个linux的服务器,且它们的带宽相当大。
  • 对于部分学习平台,磁盘限制并不严格,可以使用命令查看
# 查看所有挂载磁盘
df -hl
查看某目录挂载磁盘
df -h /绝对路径

四、使用方法

下载模型

1. 从魔搭社区(modelscope)下载模型

速度对比

我们,以下载stable-diffusion-v1-4为例,模型大小在11G左右(再大的文件逐个平台测试有点浪费时间),测试模型下载到平台指定目录所花费的时间,测试时段在晚上,由于网速波动受影响一因素较多,测试结果仅对本次结果有效!

  • 函数使用(cache_dir为指定目录)
#模型下载,出现代码错误,请卸载modelscope重装
from modelscope import snapshot_download
model_dir = snapshot_download('AI-ModelScope/stable-diffusion-v1-4', cache_dir='/mnt/workspace', revision='master')
  • 结果比较
平台cpu环境特点时间
魔搭社区 免费 8h 32g单次最长运行10小时,磁盘限制90G左右1分22秒
阿里天池社区 免费 2h4g单次运行时长最大9小时1分36秒
百度 AIstudio 免费 2h8g没有sudo密码2分49秒
中国移动 九天毕昇 8h32g磁盘200G限制4分50秒
CSDN Inscode 免费1h1g磁盘挂载>700G较慢
AutoDL ,0.5h2g,0.1元/h免费50g磁盘5分20秒
本地完全取决你你的下载速度

2. 从huggingface下载

from huggingfacehub import snapshotdownload
snapshotdownload(repoid='CompVis/stable-diffusion-v1-4', 
                 repotype='model', 
                 localdir='./modeldir', 
                 resumedownload=True)

平台带宽肯定是足够的,但是明显从huggingface上下载没那么快了,这一部分取决于你代理服务器的速度了,如何使用,请查看第3部分。

代理速度因人而异,这里不详细测试

平台cpu环境限制时间
魔搭社区 免费 8h 32g单次最长运行10小时,内存挂载90G左右5分40秒
阿里天池社区 免费 2h4g单次运行时长最大9小时4分10秒
百度 AIstudio 免费 2h8g没有开放sudo权限,无法开代理

3. 参考项目

这里自行去github搜索,Elegycloud大佬的项目

保存模型

基于上面的介绍,下载到平台之后,如果不使用对应平台来进行学习,可以保存下来。

这里就没办法逐个平台列个表格对比测试了,因为这个比较热门的模型,只要别人上传过,再次上传阿里云盘,几乎就是秒传,上传速度大家自己测试。

1. 保存到百度网盘

找了一圈,关于百度网盘API开发的项目不多,找到这个,但是我试用下来感觉不是很好用。项目地址

2. 保存阿里云盘

相比之下,即使阿里云盘没有vip,现阶段还是挺好用的。这是个不带图形化的项目

wget https://github.com/tickstep/aliyunpan/releases/download/v0.2.8/aliyunpan-v0.2.8-linux-386.zip

unzip aliyunpan-v0.2.8-linux-386.zip

cd aliyunpan-v0.2.8-linux-386

./aliyunpan

login  # RefreshToken 获取方法见原项目

登录阿里云盘,浏览器-右键检查或者按F12,按照步骤获取

在这里插入图片描述

  • 下载文件/ 文件夹
ls # 可查看云盘文件
download 云盘绝对路径
  • 上传文件
upload 服务器的文件或文件夹的绝对路径或相对路径 云盘的绝对路径

写在最后

👍🏻点赞,你的认可是我创作的动力!
?收藏,你的青睐是我努力的方向!
??评论,你的意见是我进步的财富!

文章来源:https://blog.csdn.net/m0_73222051/article/details/135318887
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。