SothisAI方法

SothisAI是一种可以直观、快速地领略深度学习魅力的方式。它的本质在于创建docker镜像,并在镜像环境内快速启动程序,训练、调优、推理,不需要输入代码,只需要动动鼠标,是一种新手友好的方式。但对于老手来说,我们更推荐方法二、方法三。因为其更高的灵活度,以及比镜像更快的速度。

1 创建基础镜像

进入计算服务首页,鼠标放到“科学计算”处,会出现如下服务和产品界面,依次点击“人工智能”“训练”“创建训练”“Tensorflow/Pytorch”。

描述 描述 描述

相关选项说明: (1)“任务名”可以进行自定义,但不能重复; (2)“Python代码”可以根据提示 加载已有文件,或者 上传本地文件; (3) “Python参数”可以自定义输入对应参数; (4) “工作空间”可以通过 自定义选择工作路径,一般填入Python参数会自动生成; (5) “TB日志路径”也可自定义,可不填; (6) “环境变量”根据需要填写即可; (7) “任务类型”分为分布式和非分布式,根据需要选择即可; (8) “加速器类型”会根据实际的申请资源显示,昆山为DCU; (9) “框架版本”点击后面的箭头选择需要的即可; (10) “资源分组”为实际申请的dcu队列名; (11) “Parameter Server”可以调整CPU数量和内存大小,申请时默认CPU数量2核,内存16G; (12) “Worker”可以调整CPU数量、DCU数量、内存大小,申请时默认CPU数量1核,DCU数量1卡,内存16G; (13) 超时限制默认为10h。 注:资源占用会显示最终的总CPU核数和DCU卡数以及内存占用总数。另昆山资源单节点32核4卡,建议资源申请以核:卡为8:1的比例申请。

点击提交,创建镜像后,需要等待“状态”属性变成完成说明运行完成。 描述

2 创建分享镜像和数据集

进入“人工智能”“训练”界面后,可以看到创建的所有镜像

描述

2.1 镜像克隆

在“创建训练”界面,点击对应任务名称后的 “操作”下面 ,克隆需要的镜像。同样地,需要给克隆镜像填入命名等后点击提交。

描述

2.2 数据集克隆

进入“人工智能” “资产集市”界面后,查看需要的数据集,点击 订阅需要的数据集;点击克隆,选择个人账户路径,最后点击完成进行数据克隆。

描述 描述 描述

注:可以在“人工智能”->“数据”->“我的订阅”查看到已经订阅的数据集。

描述

另外可以在“人工智能”->“数据”->“我的数据”->“添加数据集”上传自己的数据集。

描述

3 镜像查看

进入“人工智能”“训练”,点击“任务名称”下的作业名可以查看到如下基础镜像信息

描述

4 镜像修改

(1)镜像修改定制化需要连接外网,因此需要添加代理(请联系对应工程师申请proxy代理账号)。然后在~/.bashrc中添加以下内容,或者编辑一个shell文件添加以下内容后在容器内执行脚本。

export http_proxy='http://username:password@10.15.150.2:3000'        
export https_proxy='http://username:password @10.15.150.2:3000'       
export ftp_proxy='http://username:password@10.15.150.2:3000'

(2)下面示例以基础版pytorch1.9-py36为base创建一个新容器。

1)容器仅自己使用,不进行分享: 添加proxy代理生效后,使用which pip或which pip3 确认pip所调用的python源为容器中的python,加载已经配置好的porxy文件,使用pip install 进行安装

描述

2)修改容器,并进行分享: 进入容器后,首先sudo su进入容器root,然后which pip,确认调用python为容器python,加载配置的代理文件,执行安装指令

描述

5 镜像固化

点击“容器”->“容器实例”,在操作下面点击第三个按钮进行固化,然后在弹出框点击“固化”。固化后的镜像可在“镜像管理”查看,点击“分享”后即可在共享中心查看、订阅。

描述 描述 描述 描述

6 创建容器

在“计算服务”首页,服务部分的“容器”一栏,点击“容器实例”->“创建容器”。在弹出的对话框进行相应参数填写,最后点击弹出框右下角的“创建”完成容器创建。

描述

相关选项说明: (1) 名称:表示该容器的名称; (2) 描述:简要描述容器(可省略); (3) 任务类型:选择相应应用框架; (4) 镜像版本:选择已存在的镜像版本; (5) 资源分组:选择需要的队列; (6) 资源规格:表示容器参数配置。

results matching ""

    No results matching ""