これは何？ †
- 2019年末に、Docker / CUDA / Tensorflow の状況が変わった。
- ちょうど、コロナウイルス感染対策のために職場がロックダウンされたので、これを機に再構築する
ハードウェア ＆ OS †
- ハードウェア
| CPU | Core i5 (8Gen) 6Core 3GHz |
| MEM | 32GB |
| SSD | 512GB |
| HDD | 1TB |
| GPU | RTX2070 8GB |
- OS は Ubuntu 18.04 LTS Desktop
- 最新版じゃなくて LTS 版を使う (2023までサポート)
- 基本 SSH か VSCode Remote 接続でしか使わないんで、GUI いらないんだけど、ネットワーク設定とかしんどいので Server 版じゃなくて Desktop 版を使う
- CPU も メモリも有り余っているんで GUI を削った派生版じゃなくて、本家版でいいや
Ubuntu インストール †
パーティション構成 †
- 普通に Ubuntu Desktop をインストールするんだけど、パーティション構成だけ変えた
- ディスクパーティション
最初は HDD は /opt にして、アプリ側の設定を変更して docker や database の使う領域を設定変更して /opt に変えようと思ったけど、最初から /var を HDD にしときゃいいことに気づく- /var を HDD にするのはたいへんまずい考え方。実効速度に致命的な影響あり。頻繁にアクセスされないデータだけ HDD に持っていく
- 今回 Swap は Hibernate 用。メモリが 32GB あるんで稼働時には使われないので HDD で OK
- /home は、まぁ計算機の時間スケールで見ると激遅な人間しか触らないんで HDD で OK
- /opt は、3rd Party 製アプリのインストール場所。データは /var/opt に置く作法なんで、作法通りなら /opt が HDD にあっても問題なし。今回はデータ置き場につかう。
- なんか xfs にしたら boot できなかった。GRUB が xfs から boot できないっぽい。
hibernate †
- [参考] Ubuntu 18.04 LTSのハイバネート（休止）設定, 日本に西の端に棲息する研究者見習いの備忘録, 2019-05-01, https://krhb.hatenablog.com/entry/2019/05/01/014012
- 使っていなくても 100Wh くらい電力を食う。でも、ちょくちょく再起動してサービス上げ直すのも面倒。ということで hibernate を使いたい。何かの収益に結びつくんなら常時起動しててもいいんだけど、今のところ趣味の範囲なんでこういう工夫も要ります。
- 必要なライブラリのインストール
$ sudo apt install pm-utils
$ sudo apt install molly-guard
$ sudo apt install uswsusp
- ACPIの設定
/etc/default/acpi-support で
- HIBERNATE_MODE=shutdown
+ HIBERNATE_MODE=platform
- 実行コマンド
$ sudo systemctl hibernate
or
$ sudo systemctl hybrid-sleep
- 2020-03-31 現在、たまに hibernate に失敗する
フォルダを英語にする †
$ LANG=C xdg-user-dirs-gtk-update
USB Wifi ドライバ †
- USB Wifi : Wifi Driver for tp-link Archer T3U AC1300 (RTL8812bu)
- OS :
$ cat /etc/os-release
NAME="Ubuntu"
VERSION="18.04.4 LTS (Bionic Beaver)"
ID=ubuntu
ID_LIKE=debian
PRETTY_NAME="Ubuntu 18.04.4 LTS"
VERSION_ID="18.04"
HOME_URL="https://www.ubuntu.com/"
SUPPORT_URL="https://help.ubuntu.com/"
BUG_REPORT_URL="https://bugs.launchpad.net/ubuntu/"
PRIVACY_POLICY_URL="https://www.ubuntu.com/legal/terms-and-policies/privacy-policy"
VERSION_CODENAME=bionic
UBUNTU_CODENAME=bionic
$ uname -a
Linux GPU1 5.3.0-42-generic #34~18.04.1-Ubuntu SMP Fri Feb 28 13:42:26 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux
- Realtek は、いつもの通り Linux 向けドライバを公開していない。Ubuntu 18.04 にはドライバ未登録。
- Github で奇特な人が作ってくれているのを使わせてもらう
- 2020-03-30 時点では cilynx さんのを使うのが良さそう
- インストール準備
$ sudo apt install git make gcc dkms
あとは配布元の指示に従って make する
OS起動時にWifiに接続 †
- 初期状態では、ログイン後に Wifi 接続
- デバイス調査
$ iw dev
phy#0
Interface wlx503eaadaff7a
ifindex 4
wdev 0x1
addr **:**:**:**:**:**
ssid ap**********
type managed
txpower 12.00 dBm
- 自動接続設定 /etc/netplan/1-network-manager-all.yaml
# Let NetworkManager manage all devices on this system
network:
version: 2
renderer: NetworkManager
wifis:
wlx503eaadaff7a:
addresses: []
dhcp4: true
optional: true
access-points:
ap********:
password: **********
- 設定反映
$ sudo netplan apply
- IPアドレスは、DHCP サーバに MAC アドレスを登録して、特定の IP アドレスを払い出すようにする（計算機側では管理しない)
SSH †
$ sudo apt install openssh-server openssh-client
これでサービス起動の設定までされちゃう。
鍵ペアを作って
$ ssh-keygen -t rsa
$ cd .ssh/
$ ls
id_rsa id_rsa.pub
$ cat id_rsa.pub >> authorized_keys
秘密鍵を USB メモリでノートパソコン (Chromebook の Linux VM *1) に持っていけば、計算機にモニタをつないでの作業は終わり
/.ssh/config に登録する
Nvidia GPU †
Docker 19 + Nvidia Container Toolkit †
- 経緯
- これまでは、Nvidia が Docker に手を入れて GPU と連携できるようにしたものを配布していた (nvidia-docker2)
- Docker 19 から、Docker 自体が GPU に対応して、GPU ベンダがドライバを用意する方式になった
- 断片的なニュース記事を読んでもわからなかったけど、Nvidia の中の人がわかりやすい解説記事を書いてくれている
- Docker 19 のインストール
https://docs.docker.com/install/linux/docker-ce/ubuntu/
$ sudo apt-get remove docker docker-engine docker.io containerd runc
$ sudo apt-get update
$ sudo apt-get install \
apt-transport-https \
ca-certificates \
curl \
gnupg-agent \
software-properties-common
$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
$ sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"
$ apt-get update
$ sudo apt-get install docker-ce docker-ce-cli containerd.io docker-compose-plugin
$ sudo docker run hello-world
Hello from Docker!
This message shows that your installation appears to be working correctly.
$ docker --version
Docker version 19.03.8, build afacb8b7f0
- nvidia-container-toolkit のインストール
https://github.com/NVIDIA/nvidia-docker/tree/master#quickstart
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
$ sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
$ sudo systemctl restart docker
- コンテナ上で nvidia-smi コマンドを実行してみる
$ # sudo docker run --gpus all --rm nvcr.io/nvidia/cuda nvidia-smi
Sun Sep 5 03:33:24 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 460.91.03 Driver Version: 460.91.03 CUDA Version: 11.2 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|===============================+======================+======================|
| 0 GeForce RTX 2070 Off | 00000000:01:00.0 Off | N/A |
| 18% 35C P8 18W / 175W | 13MiB / 7982MiB | 0% Default |
| | | N/A |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=============================================================================|
+-----------------------------------------------------------------------------+
- nvidia-docker2 は docker の勝手拡張なので、docker のバージョンアップで動かなくを避けるために、apt にアップデートを抑止する設定をしていたけど、今回はもういいのかな
- sudo なしの docker 実行
$ sudo groupadd docker
$ sudo gpasswd -a $USER docker
$ sudo systemctl restart docker
- sudo なしで docker を実行できるユーザ → docker グループに登録すればいい
- 要ログオフ・ログイン
- VSCode と Docker を連携させるときに必要な設定のようだ
- Kuberntes を使うので、直接 Docker Image を起動することはないけど、Image を作るときに必要
Docker Compose †
Docker Compose †
$ sudo apt install python3-pip
$ sudo pip install docker-compose
$ docker-compose -version
docker-compose version 1.29.2, build unknown
cf. https://github.com/docker/compose
microK8s †
- https://microk8s.io/
- Ubuntu 開発元の Canoical が提供する、簡易 Kubernetes。今のところ (2020-03) 実質的に 1 ノードのみに対応。マルチノードに対応作業中
- 公式インストール手順に則ってインストールする
- Install the microk8s snap
$ sudo snap install microk8s --classic --channel=1.18/stable
- Check the status
$ sudo microk8s status --wait-ready
microk8s is running
addons:
cilium: disabled
dashboard: disabled
dns: disabled
fluentd: disabled
gpu: disabled
helm: disabled
helm3: disabled
ingress: disabled
istio: disabled
jaeger: disabled
knative: disabled
kubeflow: disabled
linkerd: disabled
metallb: disabled
metrics-server: disabled
prometheus: disabled
rbac: disabled
registry: disabled
storage: disabled
ほーほー、一通り揃ってますね。全部 disabled だけど
- Turn on standard services
$ sudo microk8s enable dns dashboard registry:size=40Gi
- microk8s コマンドを sudo なしで使えるようにする
$ sudo usermod -a -G microk8s $USER
- kubectl の alias を作る
/.bash_aliases
alias kubectl='microk8s kubectl'
kubectl は microk8s コマンドのオプションで実装されているけど、alias で普通の kubectl のように使える
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
gpu1 Ready <none> 40m v1.18.0
- 起動・停止
$ microk8s start
$ microk8s stop
OS起動時に自動起動される
microK8s + GPU †
- gpu addon を有効化 (結構時間がかかる)
$ sudo microk8s.enable gpu
Enabling NVIDIA GPU
NVIDIA kernel module detected
dns is already enabled
Applying manifest
daemonset.apps/nvidia-device-plugin-daemonset created
NVIDIA is enabled
- サンプルの pod を作成する
hello-gpu.yum
apiVersion: v1
kind: Pod
metadata:
name: hello-gpu
spec:
containers:
- name: cuda
image: nvidia/cuda:latest
tty: true
$ kubectl create -f hello-gpu.yml
$ kubectl exec -it hello-gpu -- nvidia-smi
Tue Mar 31 12:58:59 2020
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 435.21 Driver Version: 435.21 CUDA Version: 10.1 |
|-------------------------------+----------------------+----------------------+
| GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 GeForce RTX 2070 Off | 00000000:01:00.0 Off | N/A |
| 18% 28C P8 17W / 175W | 0MiB / 7982MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
+-----------------------------------------------------------------------------+
| Processes: GPU Memory |
| GPU PID Type Process name Usage |
|=============================================================================|
| No running processes found |
+-----------------------------------------------------------------------------+
ふー。ひとまず構築は完了
これをもとに、こんな開発環境を作る †
- Tensorflow/Keras は、SSH/CUDA Pod で動く
- 開発環境はノートパソコン上で動く VSCode で、SSH/CUDA Podにリモート接続する
追記 Ubuntu 20.04 Upgrade (Nvidia Driver のインストール) †
- 特に問題なく apt upgrade できるが、Nvidia Driver の更新だけうまく行かない
$ sudo add-apt-repository ppa:graphics-drivers/ppa
$ sudo apt update
$ ubuntu-drivers devices
== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00001F02sv00001462sd00003731bc03sc00i00
vendor : NVIDIA Corporation
model : TU106 [GeForce RTX 2070]
driver : nvidia-driver-450 - distro non-free recommended
driver : nvidia-driver-450-server - distro non-free
driver : nvidia-driver-440-server - distro non-free
driver : nvidia-driver-418-server - distro non-free
driver : nvidia-driver-435 - distro non-free
driver : xserver-xorg-video-nouveau - distro free builtin
$ sudo ubuntu-drivers autoinstall ※または、$ sudo apt install nvidia-driver-450
$ nvidia-smi
上手く行かない場合は
$ sudo apt purge libnvidia-gl-*
を試してみる
fsck (ファイルシステムの修復) †
Deep Learning
![[PukiWiki]](image/pukiwiki.png "[PukiWiki]")
nvidia_driver.png