为了使用学 校GPU集群而离线安装Python和pytorch
发布时间：2023-01-31 11:21:56 所属栏目：Linux 来源：
导读： 参考:
学校GPU集群为无网环境，所以要离线安装
1.下载python 源文件
2.解压到~下的某个目录---make编译源文件-----make install指定安装到哪------vim ~/.bash_profile 设置环境变量 so
学校GPU集群为无网环境，所以要离线安装
1.下载python 源文件
2.解压到~下的某个目录---make编译源文件-----make install指定安装到哪------vim ~/.bash_profile 设置环境变量 so
|
参考: 学校GPU集群为无网环境，所以要离线安装 1.下载python 源文件 2.解压到~下的某个目录---make编译源文件-----make install指定安装到哪------vim ~/.bash_profile 设置环境变量 source ~/bash_profile 使之生效 。此时运行python3就OK了（） 3.然后同理 下载setuptools pip3压缩文件，解压------进入目录------ python3 setup.py build python3 setup.py install 4.最后下载pytorch .whl torchvision .whl ------- pip3 install .whl 1.编译安装python3 从python3网站下载了python3源码压缩包，解压并编译了python3，make编译后，make install到了~/usr/local/python3目录下。 下载了setuptools和pip3的.whl文件。python setup .whl 安装了这两个依赖。这样python/bin目录下九有pip3了。 设置了~/.bash_profile环境变量，将python3/bin目录放进去了。这样就可以找到pip3 python3了。然后用source .bash_profile使其生效就ok了。 为了能在计算节点方便的使用自己的python3(在计算节点输入python3会自动调用计算节点安装的python3)所以使用ln指令创建了一个python3/bin下的python3解释器的快捷方式。这样登陆计算节点 ./python3 train.py就可以方便的使用了。 2.安装pytorch python3安装之后，要在其上安装pytorch ，去pytorch官网下载了pytorch和torchvision的.whl文件。pip3 install .whl装就ok。途中可能需要一些额外的依赖项，比如numpy six pillow，去pypi下载，安装就ok。 计算节点使用方法干货: qsub -cwd -V -pe mpi 24 #使用当前工作路径 #带入用户所有环境变量 #占用24核，防止别人任务抢资源 ./python3 testCuda.py ctrl+d #提交 qstat -f //查询各节点状态 qstat ssh compute-0-0.cluster-gpu //登陆计算节点 可以直接登陆计算节点执行 但管理员不建议 nvidia-smi //查看显存使用情况 watch -n 10 nvidia-smi //周期性地输出显卡使用情况 感想： 计算节点就是给算力，资源 程序 还是你的，但是CPU GPU通过这个集群操作系统分配，就像我们用自己的电脑 操作系统负责分配给进程线程时间片一样集群linux，集群操作系统负责分配计算资源 只不过计算资源可以来自多个节点。 如果我们直接登陆计算节点的话 就不需要提交作业给集群操作系统 集群操作系统也就没法合理的安排分配 所以管理员建议通过作业系统提交作业 而不是直接登陆计算节点执行。 （编辑：拼字网 - 核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐