深度学习环境配置指南!(Windows、Mac、Ubuntu全讲解)
第⼀时间获取价值内容
⼊门深度学习,很多⼈经历了从⼊门到放弃的⼼酸历程,且千军万马倒在了⼊门第⼀道关卡:环境配置问题。俗话说,环境配不对,学习两⾏泪。
如果你正在⾯临配置环境的痛苦,不管你是Windows⽤户、Ubuntu⽤户还是苹果死忠粉,这篇⽂章都是为你量⾝定制的。接下来就依次讲下Windows、Mac和Ubuntu的深度学习环境配置问题。⼀、Windows系统深度学习环境配置
系统:Win10 64位操作系统
安装组合:Anaconda+PyTorch(GPU版)+GTX1060
开源贡献:伍天⾈,内蒙古农业⼤学
1.1 打开Anaconda Prompt
1、conda create -n pytorch python=3.7.0:创建名为pytorch的虚拟环境,并为该环境安装python=3.7。
2、activate pytorch:激活名为pytorch的环境
1.2 确定硬件⽀持的CUDA版本
NVIDIA控制⾯板-帮助-系统信息-组件
2020年5⽉19⽇16:46:31,我更新了显卡驱动,看到我的cuda⽀持11以内的
1.3 确定pytorch版本,torchvision版本
因为官⽅源太慢了,这⾥使⽤清华源下载
1.4 镜像中下载对应的安装包
清华镜像:
mirrors.tuna.tsinghua.edu/anaconda/cloud/pytorch/win-64/
pytorch:
torchvision:
1.5 本地安装
接着第⼀步,在pytorch环境下进⾏安装,依次输⼊如下指令。
然后回到虚拟环境所在⽬录,⽤conda install anaconda安装环境所需的基础包
1.6 测试
代码1:
from future import print_functionimport torchx = torch.rand(5, 3)print(x)
输出类似于以下的张量:
代码2:
import torchtorch.cuda.is_available()
输出:True
如果以上两段代码输出⽆异常,表明环境搭建成功。
改装车能过年检吗1.7 遇到的问题手机怎么开通qq会员
⽤下⾯命令创建虚拟环境报错
conda create -n py37_torch131 python=3.7
【解决⽅法】blog.csdn/weixin_42329133/article/details/102640763
环境会保存在Anaconda⽬录下的envs⽂件夹内
PackagesNotFoundError: The following packages are not available from current channels
【解决⽅法】:
wwwblogs/hellojiaojiao/p/10790273.html
conda下载太慢问题
【解决⽅案】mirror.tuna.tsinghua.edu/help/anaconda/
我直呼⼀声清华NB!
cuda安装
cuda历史版本下载:developer.nvidia/cuda-toolkit-archive
要看NVIDIA的组件,⾃⼰的CUDA⽀持哪个版本,我是1060显卡,所以我下的10.0版本的cuda
pytorch安装
官⽹没有我的组合,我满脸问号
这⾥我直接(别忘了先进⼊刚创建的环境)
conda install pytorch torchvision cudatoolkit=10.0 -c pytorch
jupyter note如何进⼊虚拟环境
jupyter note如何进⼊虚拟环境
python -m ipykernel install --name 虚拟环境名
1.打开Anaconda Prompt,输⼊conda env list 查看现有环境
2.输⼊activate name(name是你想切换的环境)
4.python -m ipykernel install --name Name 将环境添加到Jyputer中(Name是此环境显⽰在Jyputer中的名称,可⾃定义)
快乐大本营李小璐删除内核
jupyter kernelspec remove 内核名称
报错[Errono 13]
[Errno 13] Permission denied: ‘/usr/local/share/jupyter’
为此,需要添加–user选项,将配置⽂件⽣成在本账户的家⽬录下。
python -m ipykernel install --user --name py27-caffe-notebook
⾄此,添加kernel完成。查看已有的kernel:
jupyter kernelspec list
删除已有的kernel
jupyter kernelspec remove kernelname
以上的命令删除仅仅是配置⽂件,并没有卸载相应虚拟环境的ipykernel,因此若要再次安装相应python虚拟环境的kernel,只需激活虚拟环境,然后
python -m ipykernel install --name kernelname
conda安装⼀半总失败
把⽂件下载到本地,进⼊该⽂件的⽬录,然后⽤命令
conda install --offline 包名
⼆、Mac深度学习环境配置
安装组合:Anaconda+PyTorch(GPU版)
开源贡献:马曾欧,伦敦⼤学
2.1 安装Anaconda
Anaconda 的安装有两种⽅式,这⾥仅介绍⼀种最直观的- macOS graphical install。
www.anaconda/products/individual⾥,Anaconda Installers的位置,选择Python 3.7 下⽅的“64-Bit Graphical Installer (442)”。下载好
pkg 安装包后点击进⼊,按下⼀步完成安装即可。默认安装地点为~/opt。想⽤command line install 的,请⾃⾏参考:docs.anaconda/anaconda/install/mac-os/
2.2 确认下载情况
在Mac 的Terminal ⾥,输⼊
python --version
确保安装的Python 是3.x 版本。在Terminal 输⼊
jupyter notebook
弹出⽹页,即可进⼊notebook。
在⽹页右上⾓点击Quit,或返回Terminal,command + c,退出notebook。
2.2.1 常见问题
如果电脑中下载了多个Anaconda,运⾏时可能出现冲突。在Terminal 中输⼊
cd ~
返回home ⽬录,输⼊
cat .bash_profile
如果只能看到⼀个Anaconda 版本就没有问题。如果有多个则下载包时有可能
造成⼀定的冲突。⽤vim、nano 或其他⽂本编辑器把旧版本Anaconda 的
export PATH= ...
删除。
2.3 虚拟环境和包的下载
⽤conda 去创建虚拟环境和下载对应的包是很简单的⼀件事。
2.3.1 Graphic
点击Anaconda-Navigator,可以看到⾃⼰下载好的应⽤程序,左上⾓“Applications on”应该指向的是“base (root)”,左边点击“Environments”就可以看到⾃⼰建⽴的虚拟环境和对应的包了。点击左下⾓的Create 即可创建输⼊环境名称和python 的版本,点击create 进⾏创建。
御小说之后在Home 页⾯,确保左上⾓指向的是你刚刚创建的环境名,在这个环境下install jupyter notebook,注意原本装的notebook 是在base ⾥的,不可通⽤。
回到Environments 中,可以看到在此环境中的所有包,左上⽅选择All,然后输⼊想要下载的包名
然后选中进⾏下载
2.3.2 Command Line
⽤command line 完成以上的操作也很简洁。这次以Pytorch 为例。在Terminal 中输⼊
conda create --name env_name
就可以创建⼀个虚拟环境,叫“env_name”。输⼊
conda env list
conda env list
即可看到创建了的所有虚拟环境,其中打* 的就是当前环境。输⼊
conda activate env_name
进⼊环境
conda deactivate
退出当前虚拟环境,进⼊base。
2.3.3 下载Pytorch
⼀般情况下Mac 是不⽀持CUDA 的。进⼊/ 可以看到
pytorch 官⽹显⽰当前设备应该⽤的下载语句。此情况,我的是
conda install pytorch torchvision -c pytorch
复制下来,粘贴到Terminal 中运⾏就可以开始下载了。
下载完成后,在Terminal 输⼊
python3
之后import 两个刚下载的包,确认下载完成
import torchimport torchvisionprint(torch.__version__)print(torchvision.__version__)
如果import 和输出正常,配置就完成了!输⼊
quit()
就ok 了。
2.4 额外情况
国内如果直接⽤conda 下载,可能会很慢。可以换下载源进⾏加速。换源⽅法可参考下列资料中的Linux 部分:zhuanlan.zhihu/p/87123943。
conda 下载中常会出现“Solving environment: ”的问题,如果正常创建虚拟环境,这位问题应该就是没有问题的,如果还发⽣,可以再创建⼀个虚拟环境。
conda 的社很⼤,基本上遇到的问题很有可能有⼈遇到、有⼈解答,Google会是⼀个很好的解决办法。
三、Ubuntu深度学习环境配置
安装组合:Anaconda+PyTorch(CPU版)或PyTorch(GPU版)
开源贡献:陈信达,华北电⼒⼤学
3.1 Anacond安装
Anaconda和Python版本是对应的,所以需要选择安装对应Python2.7版本的还是Python3.7版本或其他版本的,根据⾃⼰的需要下载合适的安装包。
下载链接:www.anaconda/download/#linux
点击下⾯的64-Bit (x86) Installer (522 MB),下载64位的版本。
下载完后的⽂件名是:Anaconda3-2020.02-Linux-x86_64.sh。
cd到Anaconda3-2020.02-Linux-x86_64.sh所在的⽬录:
执⾏bash Anaconda3-2020.02-Linux-x86_64.sh开始安装:
⼀直按回车直到如下界⾯,然后输⼊yes:
这⾥直接回车安装到默认路径,或者在>>>后输⼊⾃定义路径
等待安装进度条⾛完,然后出现下⾯的提⽰,yes是加⼊环境变量,no是不加⼊环境变量,这⾥我们以输⼊no为例
接下来⼿动加⼊环境变量,先cd到~,然后编辑.bashrc⽂件:sudo vim .bashrc
在最下⾯添加如下⼏⾏(注意.后有空格):
# 区分anaconda python与系统内置pythonalias python3='/usr/bin/python3.5'alias python2='/usr/bin/python2.7'. /home/cxd/anaconda3/etc/profile.d/conda.sh
然后按esc + : + wq!保存
输⼊source .bashrc来执⾏刚修改的初始化⽂档
下⾯输⼊conda env list来试试环境变量是否设置成功:
试试刚刚设置的使⽤内置python的命令:python2、python3
如果到这就结束的话,⼤家安装包的时候肯定会⽆⽐煎熬~这⾥需要将anaconda换⼀下源(加⼊清华源):
然后我们创建⼀个名为pytorch的虚拟环境,发现报了下⾯的错误:
原因是我们没有清除上次安装留下来的源,输⼊sudo vim .condarc,修改该⽂件的内容(记得删除default那⾏):
然后输⼊source .condarc,再次创建虚拟环境:
3.2 pytorch cpu版本安装
电子签名制作方法激活刚刚创建的虚拟环境:conda activate pytorch在安装之前先添加下⾯这个源:
conda config --add channels mirrors.tuna.tsinghua.edu/anaconda/cloud/pytorch
然后输⼊下⾯代码:
conda install pytorch torchvision cpuonly -c pytorch配置windows update失败
等到安装好后测试⼀下是否安装完成:
import torchprint(torch.__version__)
输出如下则安装成功:
3.3 pytorch-gpu安装
3.3.1 GPU驱动安装
检测显卡类型
执⾏命令:ubuntu-drivers devices
== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==modalias : pci:v000010DEd00001C8Dsv00001028sd0000086Fbc03sc02i00vendor : NVIDIA Corporationmodel : GP107M [GeForce GTX 1050 Mobile]driver : nvidia-driver-390 - distro non-free free
⼤家可以看到,这⾥有个设备是GTX1050。推荐安装驱动是440。
安装驱动
安装所有推荐驱动
sudo ubuntu-drivers autoinstall
安装⼀个驱动
sudo apt install nvidia-440
sudo apt install nvidia-440
3.3.2 安装cuda
cuda安装需要对应合适的显卡驱动。下⾯是驱动和cuda的版本对应关系
Table 1. CUDA Toolkit and Compatible Driver VersionsCUDA Toolkit Linux x86_64 Driver Version Windows x86_64 Driver VersionCUDA 10.2.89 >= 440.33 >= 441.22CUDA 10.1 (10.1.105 general release, and updates) >= 418.39 >= 418.96 Installer Type选择第⼀第⼆个都可。但是要在获得cuda
⽂件后先检测gcc版本。下⾯以第⼀个runfile(local)安装⽅式为例。
安装gcc
linux⼀般会⾃带了gcc,我们先检测⼀下⾃⼰系统的gcc版本
gcc --version
⽽cuda的gcc依赖版本在官⽅⽂档的安装指南上会给出
如果版本和cuda依赖gcc不对应,就安装cuda需要的版本
sudo apt-get install gcc-7.0sudo apt-get install g++-7.0
安装完成后需要更换系统gcc版本
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-7 50sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-7 50
选择需要的版本
sudo update-alternatives --config gcc 选择路径优先级状态------------------------------------------------------------* 0 /usr/bin/gcc-9 50 ⾃动模式 1 /usr/bin/g++-9 50 ⼿动模式 2 /usr/bin/gcc-7 50 ⼿动模式
输⼊前⾯显⽰的编号即可。
安装cuda
sudo sh cuda_你的版本_linux.run
配置环境变量
sudo vim ~/.bashrc
将下⾯的命令复制进去
export PATH=/usr/local/cuda-10.2/bin${PATH:+:$PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
检查是否安装成功
nvcc -V
3.3.3 安装cudnn
然后将cudnn解压后的include和lib64⽂件夹复制到cuda中
sudo cp cuda/include/cudnn.h /usr/local/cuda-10.2/include #解压后的⽂件夹名字为cuda-10.2 sudo cp cuda/lib64/libcudnn* /usr/local/cuda-10.2/lib64sudo chmod a+r /usr/local/cuda-10.2/include/cudnn.h /usr/local/cuda-10.2/lib64/libcudnn*
3.3.4 安装pytorch-gpu
conda安装:
# 选择⾃⼰对应的cuda版本conda install pytorch torchvision cudatoolkit=10.2
pip安装:
pip install torch torchvision -i pypi.mirrors.ustc.edu/simple
四、写在最后
所有的深度学习环境安装指南到这⾥就结束了,希望能解决你⾯临的环境配置难题。关于实践项⽬,可以结合阿⾥天池的学习赛进⾏动⼿实践。
数据挖掘学习赛(进⾏中,5832⼈参与)
tianchi.aliyun/competition/entrance/231784/forum
cv实践学习赛(进⾏中,1933参与)
tianchi.aliyun/competition/entrance/531795/forum
nlp实践学习赛(进⾏中,573⼈参与)
tianchi.aliyun/competition/entrance/531810/forum
欢迎关注我们,收获资源⼲货!
喜欢就点「在看」
发布评论