DeepLearning XUbuntuインストール

目次

FrontPage
・Windows11
・Chromebook
・Random
・機械学習
・さくらVPS
・Fedora13
・SuSe10
・Docker
・Ansible
・Java
・Scala
・Python
・Ruby
・Lisp
・Computer
・GIS
・HTML
・Culture
・Link

訪問者

total: 9105
today: 1
yesterday: 1
now: 1

更新

最新の10件

人気の10件

MenuBar

UEFI設定 †

• UEFI設定画面には、Delete キーを押しながら電源投入で入れる
• CPU 内蔵グラフィックを使う
  
  • GPU は機械学習の計算専用に使うようにする
  • デフォルト状態では、ディスプレイ出力に Geforce RTX 2070 を使うように設定されているので、最初はディスプレイを Geforce RTX 2070 の出力端子につなぐ
  • Initiate Graphic Adapter を [IGD] に変更して再起動すると、CPU内蔵グラフィックが使われる。ディスプレイをマザーボードのディスプレイ出力端子につなぎ直す
• Secure Boot を無効化する
  
  • Secure Boot は、署名されていないドライバの読み込みを UEFI レベルでブロックする機能
  • nvidia の linux ドライバをインストールするところでハマるので無効化する
• あとは Boot 順を DVD→SSD→HDD に変更する。インストール後には SSD→HDD→DVD にする。しなくてもいいけど、ちょっとブートが早くなる

Xubuntu †

• Ubuntu には、デスクトップ環境を軽量化した派生ディストリビューションが複数存在する。機械学習用にはリッチなデスクトップ環境は要らないので、今回は Xubuntu を使う。

  派生ディストリビューション	Desktop	メモリ使用量	普及
  Ubuntu (本家)	GNOME	大	◎
  Kubuntu	KDE	大	☓
  Xubuntu	Xfce	中	○
  Lububuntu	LXDE	小	☓

• インストール DVD を作る
  • https://xubuntu.org/
  • 今回は DVD-ROM が付いているので、配流されている ISO イメージから DVD を作成する
  • インストール USB を作る場合は → CentOS インストール(BigSector対策)
• インストール

1. 起動オプションで Try Xubuntu without installing で起動 → デスクトップが起動
2. Wifi のセッティングを行う
3. Install Xubuntu 18.04.1 LTS をダブルクリックしてインストーラーを起動
   • download updates をチェックする
   • /dev/nvme0n1 に自動インストール
   • マシン名は ai-chan とした。IPアドレスは DHCP からの動的割付にした
4. ホームディレクトリのディレクトリ名を英語化する

   $ LANG=C xdg-user-dirs-update --force
   Moving DESKTOP directory from デスクトップ to Desktop
   Moving DOWNLOAD directory from ダウンロード to Downloads
   Moving TEMPLATES directory from テンプレート to Templates
   Moving PUBLICSHARE directory from 公開 to Public
   Moving DOCUMENTS directory from ドキュメント to Documents
   Moving MUSIC directory from ミュージック to Music
   Moving PICTURES directory from ピクチャ to Pictures
   Moving VIDEOS directory from ビデオ to Videos

   X-Windowが動かなくなったときに詰むので、管理ユーザのディレクトリは英語にしておくのが無難
5. 再起動後に OS 最新化

   $ sudo apt-get update
   $ sudo apt-get dist-upgrade
   $ sudo shutdown -h now

Bluemanサービス (Bluetooth のファイル転送) が、ディレクトリがないと言ってエラーダイアログを出してうっとおしので、dconf で変更する

$ sudo apt-get install dconf-editor
$ dconf-editor

org → blueman → transfer の shared-path を変更する

ネットワーク設定 †

• Wifiへの自動接続
  • 標準設定では、ユーザがログインするときに Wifi に接続する。今回は物置（電話室）に GPU サーバをおいて、お炬燵から SSH でログインしたい
  • デバイス名の確認

    $ iw dev
    phy#0
    	Interface wlxb0c74545bd1e
    		ifindex 3
    		wdev 0x1
    		addr **:**:**:**:**:**
    		ssid ********************
    		type managed
    		channel 8 (2447 MHz), width: 20 MHz, center1: 2447 MHz
    		txpower 20.00 dBm

  • /etc/netplan/01-network-manager-all.yaml に Wifi の設定をする

    # Let NetworkManager manage all devices on this system
    network:
      version: 2
      renderer: NetworkManager
    
      wifis:
        wlxb0c74545bd1e:
          addresses: []
          dhcp4: true
          optional: true
          access-points:
            ${ACCESS_POINT}:
              password: ${PASSWORD}
    

  • 設定の確認

    $ sudo netplan apply

• mDNS
  • mDNS は、小規模 LAN 内で、DNSサーバを建てないでLANに接続されている機器同士で名前解決をする仕組み。
  • Apple の Bonjour は mDNS の実装。Linux では avahi を使う。
  • avahi はインストール済みで、サービスも起動するように設定されていた

    $ systemctl status avahi-daemon
    ● avahi-daemon.service - Avahi mDNS/DNS-SD Stack
      Loaded: loaded (/lib/systemd/system/avahi-daemon.service; enabled; vendor preset: enabled)
      Active: active (running) since Wed 2019-01-02 00:48:39 JST; 4min 32s ago

  • つまり、特に何も設定しなくても、Macbook から ai-chan.local でこのマシンを lookup できる
• SSH Server
  • SSHサーバのインストール

    $ sudo apt-get install openssh-server openssh-client
    $ sudo systemctl enable sshd
    $ sudo systemctl start sshd

  • Root login の禁止は特に必要ない（デフォルトで禁止）
• ここまでできれば、あとは Macbook から

  $ ssh ai-chan.local

  でリモート作業ができる。

  $ ssh -Y ai-chan.local

  とかやると GUI プログラム Macbook 側で操作することができる

Nvidia ドライバのインストール †

nouveauを止める †

• nouveau は、OSS の Nvidia のドライバ。本家のドライバをインストールする前に無効化する必要がある
• nouveau がロードされているか調べる。

  $ lsmod | grep -i nouveau
  nouveau              1716224  0
  mxm_wmi                16384  1 nouveau
  ttm                   106496  1 nouveau
  i2c_algo_bit           16384  2 i915,nouveau
  drm_kms_helper        172032  2 i915,nouveau
  drm                   401408  7 drm_kms_helper,i915,ttm,nouveau
  wmi                    24576  4 intel_wmi_thunderbolt,wmi_bmof,mxm_wmi,nouveau
  video                  45056  2 i915,nouveau

• /etc/modprobe.d/blacklist-nouveau.conf

  blacklist nouveau
  options nouveau modeset=0
  

• 反映して再起動

  $ sudo update-initramfs -u
  update-initramfs: Generating /boot/initrd.img-4.15.0-43-generic
  $ sudo reboot

• 再度 lsmod を実行して nouveau がロードされていないか確認する

Nvidiaドライバのインストール †

• ドライバのダウンロード
  • https://www.geforce.com/drivers
  • 今回ダウンロードしたのは NVIDIA-Linux-x86_64-410.93.run (Thu Jan 03, 2019)

    $ wget https://us.download.nvidia.com/XFree86/Linux-x86_64/410.93/NVIDIA-Linux-x86_64-410.93.run

• 必要なライブラリのインストール

  $ sudo apt-get install build-essential dkms

• X-Window を停止

  $ sudo systemctl stop lightdm

  ※ 以降の作業を SSH 経由ではなく、実マシンでやりたい場合は CTRL + ALT + F1 で CUI コンソールを立ち上げる → ここでディレクトリが日本語だと詰む
• インストール

  $ chmod +x ./NVIDIA-Linux-x86_64-410.93.run
  $ sudo ./NVIDIA-Linux-x86_64-410.93.run --no-opengl-files --no-libglx-indirect --dkms

  1. The distribution-provided pre-install script failed! というエラー画面が表示されるが無視してもよさそう
     
     インストールを中止して /var/log/nvidia-installer.log を見てみると、インストーラーは ncurses v6 を使っているが、Xubuntu 18.04 に入っているのは v6.1 なためらしい
  2. DKMSドライバにして、カーネルを入れ替えたときには自動で再構築する
     
  3. 32bit ドライバは不要なので OK
     
  4. ドライバのコンパイルとインストール
     
  5. X の設定は上書きしない (GPUを画面描画に使わないため)
     
  6. おわり
     

インストールの確認 †

$ nvidia-smi
Fri Jan  4 16:06:57 2019
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 410.93       Driver Version: 410.93       CUDA Version: 10.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|===============================+======================+======================|
|   0  GeForce RTX 2070    Off  | 00000000:01:00.0 Off |                  N/A |
| 21%   42C    P0    46W / 175W |      0MiB /  7952MiB |      0%      Default |
+-------------------------------+----------------------+----------------------+

+-----------------------------------------------------------------------------+
| Processes:                                                       GPU Memory |
|  GPU       PID   Type   Process name                             Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

ディスプレイ出力設定 (/etc/X11/xorg.conf) †

通常 Xorg は、有効なデバイスを勝手に設定してくれるけど、CPU 内蔵の UHD630 で画面描画をして、nVidia の GPU は計算専用に使いたいとかいうときには xorg.conf を設定する必要がある
この設定をしないと、Xorg は(ディプレイ出力を無効にしてある) nVidia の GPU 側でディスプレイ出力をしようとするので、画面に何も表示されなくなる。

• /etc/X11/xorg.conf

  Section "ServerLayout"
      Identifier "layout"
      Screen 0 "intel"
      Screen 1 "nvidia"
  EndSection
  
  Section "Device"
      Identifier "intel"
      Driver "intel"
      BusID "PCI:0@0:2:0"
      Option "AccelMethod" "SNA"
  EndSection
  
  Section "Screen"
      Identifier "intel"
      Device "intel"
  EndSection
  
  Section "Device"
      Identifier "nvidia"
      Driver "nvidia"
      BusID "PCI:1@0:0:0"
      Option "ConstrainCursor" "off"
  EndSection
  
  Section "Screen"
      Identifier "nvidia"
      Device "nvidia"
      Option "AllowEmptyInitialConfiguration" "on"
      Option "IgnoreDisplayDevices" "CRT"
  EndSection
  

• nvidia 側をセカンダリモニターにして、ディプレイが接続しない設定にする
• 出展(感謝!)： https://gist.github.com/alexlee-gk/76a409f62a53883971a18a11af93241b
• BUS ID を調べる

  $ lspci | grep -i vga
  00:02.0 VGA compatible controller: Intel Corporation Device 3e92
  01:00.0 VGA compatible controller: NVIDIA Corporation Device 1f02 (rev a1)

データ領域のマウント †

• ディスク番号の確認

  $ sudo lshw -short | egrep "storage|disk"
  /0/100/17                        storage        Intel Corporation
  /0/100/1b/0                      storage        Intel Corporation
  /0/1            scsi0            storage
  /0/1/0.0.0      /dev/sda         disk           1TB ST1000DM010-2EP1
  /0/2            scsi1            storage
  /0/2/0.0.0      /dev/cdrom       disk           DVDRAM GH24NSD5

  /dev/sda ですな
• パーティション作成

  $ sudo fdisk /dev/sda
  コマンド (m でヘルプ): n
  Select (default p): p
  パーティション番号 (1-4, default 1): 
  最初 sector (2048-16777215, 初期値 2048): 
  コマンド (m でヘルプ): w
  
  $ sudo fdisk -l
  ...
  ディスク /dev/sda: 931.5 GiB, 1000204886016 バイト, 1953525168 セクタ
  単位: セクタ (1 * 512 = 512 バイト)
  セクタサイズ (論理 / 物理): 512 バイト / 4096 バイト
  I/O サイズ (最小 / 推奨): 4096 バイト / 4096 バイト
  ディスクラベルのタイプ: dos
  ディスク識別子: 0x57484196
  
  デバイス   起動 開始位置   最後から     セクタ サイズ Id タイプ
  /dev/sda1           2048 1953525167 1953523120 931.5G 83 Linux
  ...

• ファイルシステムの作成

  $ sudo mkfs -t ext4 /dev/sda1
  $ sudo mkdir /nfs
  $ sudo mount /dev/sda1 /nfs

• 自動マウント設定

  $ sudo blkid /dev/sda1
  /dev/sda1: UUID="1b70b9ee-e0df-4868-97fa-bb5ee11e4158" TYPE="ext4" PARTUUID="57484196-01"

• /etc/fstab

  # /etc/fstab: static file system information.
  #
  # Use 'blkid' to print the universally unique identifier for a
  # device; this may be used with UUID= as a more robust way to name devices
  # that works even if disks are added and removed. See fstab(5).
  #
  # <file system> <mount point>   <type>  <options>       <dump>  <pass>
  /dev/mapper/xubuntu--vg-root /               ext4    errors=remount-ro 0       1
  # /boot/efi was on /dev/nvme0n1p1 during installation
  UUID=E562-B3FB  /boot/efi       vfat    umask=0077      0       1
  /dev/mapper/xubuntu--vg-swap_1 none            swap    sw              0       0
  # HDD
  UUID=1b70b9ee-e0df-4868-97fa-bb5ee11e4158 /nfs ext4 defaults 0 0
  

  /etc/fstabの書き方

  1	デバイス名	UUID=1b70b9ee-e0df-4868-97fa-bb5ee11e4158
  2	マウントポイント	/nfs
  3	ファイルシステム	ext4
  4	マウントオプション	defaults
  5	異常時にダンプをするか	0:必要なし 1:必要あり
  6	起動時に fsck チェックをするか	0:しない 1:する(rootパーティション) 2:する(rootパーティション以外)

データ領域を NFS で公開する †

• NFS で Rancher のどのノードからもアクセスできるようにして、その上に Rancher (k8s) の Persistent Volume 領域を作る。アクセス権限 (permission) の関係で 1　node でも NFS を使ったほうがいいみたい。
• とりあえず Rancher 公式のチュートリアルと同じ構成にする
  • https://rancher.com/docs/rancher/v2.x/en/k8s-in-rancher/volumes-and-storage/examples/nfs/
• /nfs に誰でも書き込めるようにする

  $ sudo chown nobody:nogroup /nfs

• /nfs を NFS で公開する
  • /etc/exports

    /nfs 192.168.10.0/24(rw,sync,no_subtree_check)
    

  • 設定内容の反映

    $ sudo exportfs -ra
    $ rpcinfo -p | grep nfs
       100003    3   tcp   2049  nfs
       100003    4   tcp   2049  nfs
       100003    3   udp   2049  nfs
    $ sudo ufw allow 2049
    ルールをアップデートしました
    ルールをアップデートしました(v6)

Deep Learning