基于LXD搭建用于实验室深度学习的共用GPU的相关说明.zip资源-CSDN下载

共1个文件

md：1个

需积分: 5 86 浏览量 2024-09-22 15:41:30 上传评论收藏 4KB ZIP 举报

深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。

资源推荐

资源详情

资源评论

收起资源包目录

基于LXD搭建用于实验室深度学习的共用GPU的相关说明.zip （1个子文件）

content

README.md 8KB

# 服务器搭建问题指南2023 >参考网站: >https://xungejiang.com/2022/07/14/lxd-new/ >https://www.wangt.cc/2021/09/%E5%9F%BA%E4%BA%8Elxd%E6%90%AD%E5%BB%BA%E5%A4%9A%E4%BA%BA%E5%85%B1%E7%94%A8gpu%E6%9C%8D%E5%8A%A1%E5%99%A8%EF%BC%8C%E7%AE%80%E5%8D%95%E6%98%93%E7%94%A8%EF%BC%8C%E5%85%A8%E7%BD%91%E6%9C%80%E8%AF%A6/ >https://zhuanlan.zhihu.com/p/421271405 ## 宿主机相关内容 Ubuntu 20.04 安装时，要注意Ubuntu系统的引导方式，若选择uefi引导方式，需要更改BIOS的CMS，使得系统首选uefi引导 **固定内核版本,防止内核升级造成Nvidia driver不可用** `sudo apt-mark hold linux-image-generic linux-headers-generic` **安装宿主机驱动Nvidia driver时，使用软件包下载安装。若安装失败，注意更改BIOS的安全启动菜单** ``` sudo sh ./NVIDIA-Linux-x86_64-530.30.02.run nvidia-smi ``` >安装驱动时，参考 https://xungejiang.com/2019/10/08/ubuntu-gpu-driver/ **注意不要配置宿主机网络** **安装lxd,zfs和bridge-utils** ``` sudo snap install lxd sudo apt install zfsutils-linux bridge-utils ``` ## LXD初始化 **初始化命令** `sudo lxd init` > lxd的zfs不挂载到其他硬盘上，按照`sudo lxd init`的默认值，zfs存储池建立在4T的SSD上，lxd将此池作为容器的默认创建池 > 通过命令`lxc storage list`查看创建的存储池 > zfs参考资料 https://linux.cn/article-8750-1.html >> 我的理解：所有容器都在zfs存储池分配的SSD的空间中开辟 **lxd初始化过程中关键选项** ``` Create a new ZFS pool? (yes/no) [default=yes]: yes Would you like to use an existing block device? (yes/no) [default=no]: no Size in GB of the new loop device (1GiB minimum) [default=30GiB]: 100GiB ``` >其他选项默认即可 >网络配置采用创建桥接网络，宿主机为公网ip 10.193.0.11，其他容器为局域网ip，访问每个容器通过公网ip+端口号的形式 >通过命令`lxc network list`能够查看创建的桥接网络 ## 创建容器 seulab **通过命令`lxc launch ubuntu:20.04 seulab` 创建名为seulab的容器** > 容器相关命令：容器列表，进入容器，退出容器，删除容器，停止容器，重启容器 >``` > lxc list > lxc exec seulab bash > exit > lxc delete seulab > lxc stop seulab > lxc restart seulab >``` **创建共享文件夹** ``` sudo lxc config set seulab security.privileged true sudo lxc config device add seulab ShareData disk source=/media/seulab/data1/dockershare path=/home/ubuntu/ShareData ``` >服务器将机械硬盘中的dockershare作为用户的共享的数据文件夹 `sudo lxc config set seulab security.privileged false` >`sudo lxc config set seulab security.privileged false` 该命令很重要，如果不运行，容器重启后将无法使用可视化界面 **添加GPU硬件** `lxc config device add seulab gpu gpu id=0` >需要指定gpu id=0 **配置网络** ``` sudo lxc config device add seulab proxy1 proxy listen=tcp:10.193.0.11:6002 connect=tcp:10.18.100.xxx:22 bind=host sudo lxc config device add seulab proxy0 proxy listen=tcp:10.193.0.11:6003 connect=tcp:10.18.100.xxx:3389 bind=host sudo lxc config device add seulab proxy2 proxy listen=tcp:10.193.0.11:6004 connect=tcp:10.18.100.xxx:6081 bind=host ``` > 10.193.0.11为宿主机ip，10.18.100.xxx 为 `lxc list`后seulab容器的ip，22为ssh端口，3389为rdp端口，6081为可视化界面端口 `sudo lxc config device list seulab` >查看seulab容器添加的设备 ## 容器内的环境配置 **通过`lxc exec seulab bash`进入容器，容器内的环境配置在默认用户ubuntu的权限下继续** ``` passwd ubuntu login ubuntu ``` >设置ubuntu账户，账户密码设置为000000 **更改容器内的软件源，校园网下使用seu的软件源，速度较快** ``` sudo mv /etc/apt/sources.list /etc/apt/sources.list.bak` sudo vim /etc/apt/sources.list deb http://mirrors.seu.edu.cn/ubuntu/ focal main restricted universe multiverse deb http://mirrors.seu.edu.cn/ubuntu/ focal-updates main restricted universe multiverse deb http://mirrors.seu.edu.cn/ubuntu/ focal-backports main restricted universe multiverse deb http://mirrors.seu.edu.cn/ubuntu/ focal-security main restricted universe multiverse ``` **依次安装Nvidia driver，Anaconda，Vscode，Cuda** ``` sudo sh ./NVIDIA-Linux-x86_64-530.30.02.run --no-kernel-module nvidia-smi bash Anaconda3-2021.11-Linux-x86_64.sh sudo apt install ./code_1.84.1-1699275408_amd64.deb sudo apt install gcc g++ make sudo sh cuda_12.1.0_530.30.02_linux.run sudo vim ~/.bashrc export PATH=/usr/local/cuda-12.1/bin${PATH:+:${PATH}} export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}} nvcc -V ``` **配置SSH连接** ``` vim /etc/ssh/sshd_config PermitRootLogin yes PasswordAuthentication yes /etc/init.d/ssh restart ``` ## 安装可视化界面 ``` sudo apt install xfce4 sudo apt install tigervnc-standalone-server ``` **设置远程桌面密码 `vncpasswd`** >远程桌面密码默认设置为000000 >远程桌面密码为网页端登录密码，ubuntu账号密码为ssh登录密码 **创建开机启动图形化界面脚本** ``` nano ~/.vnc/xstartup #!/bin/bash startxfce4 & ``` **创建vnc开机启动方法** ``` sudo nano /etc/systemd/system/[email protected] [Unit] Description=Systemd VNC server startup script for Ubuntu 20.04 After=syslog.target network.target [Service] Type=forking User=ubuntu ExecStart=/usr/bin/vncserver -depth 24 -geometry 1920x1080 :%i [Install] WantedBy=multi-user.target ``` **系统重新加载服务列表 `sudo systemctl daemon-reload`** **启动开机自启动服务 `sudo systemctl enable [email protected]`** **启动vnc服务 `sudo systemctl start [email protected]`** >`sudo systemctl status [email protected]` 检查未正常启动原因 **安装配置novnc** ``` sudo snap install novnc sudo snap set novnc services.n6081.listen=6081 services.n6081.vnc=localhost:5901 ``` >创建一个侦听6081端口，并将6081连接到VNC服务器，VNC服务器在localhost的5901端口上运行 ## 管理相关容器 **基于seulab容器，创建lab快照 `sudo lxc snapshot seulab lab`** **查看容器的快照 `lxc info seulab`** **用快照生成容器XXX `sudo lxc copy seulab/lab XXX`** **删除容器XXX proxy配置** ``` sudo lxc config device remove XXX proxy1 sudo lxc config device remove XXX proxy0 sudo lxc config device remove XXX proxy2 sudo lxc config edit XXX sudo lxc config device list XXX ``` >copy后XXX容器的proxy配置是seulab中的配置，需要重新分配 **查看容器XXX的新ip地址,即lxc list中的IPV4,假设为10.18.100.xxx** ``` sudo lxc start XXX sudo lxc list ``` **重新给容器XXX分配端口** ``` sudo lxc config device add XXX proxy1 proxy listen=tcp:10.193.0.11:60n2 connect=tcp:10.18.100.xxx:22 bind=host sudo lxc config device add XXX proxy0 proxy listen=tcp:10.193.0.11:60n3 connect=tcp:10.18.100.xxx:3389 bind=host sudo lxc config device add XXX proxy2 proxy listen=tcp:10.193.0.11:60n4 connect=tcp:10.18.100.xxx:6081 bind=host ``` >初始容器seulab 10.193.0.11的三个端口为6002，6003，6004，每次新建容器后这三个端口需要+10,若XXX为从seulab复制创建的第一个容器，则对应的三个端口为6012，6013，6014 >若从seulab创建第n个容器，则该容器的三个端口分别对应n*10+2/3/4 >>第n个容器不包括初始容器seulab >10.18.100.xxx为容器XXX的新ip地址 **设置ssh密码** ``` sudo lxc exec XXX bash passwd ubuntu ``` >复制XXX容器后，需要进入容器创建用户ubuntu的密码000000，用于ssh远程连接 >若要更改可视化界面的登录密码，运行`vncpasswd` **以从seulab复制创建的第一个容器为例** http://10.193.0.11:6014/vnc.html 是接入校园网的情况下，浏�

评论收藏

内容反馈