OpenStack Linux UEFI Software RAID

目次

FrontPage
・Windows11
・Chromebook
・Random
・機械学習
・さくらVPS
・Fedora13
・SuSe10
・Docker
・Ansible
・Java
・Scala
・Python
・Ruby
・Lisp
・Computer
・GIS
・HTML
・Culture
・Link

訪問者

total: 10946
today: 1
yesterday: 1
now: 1

更新

最新の10件

人気の10件

MenuBar

これは何? †

• OpenStack の Control Node、Compute Node の物理ディスクを Software RAID にするための検証
• 社内の開発チーム向けに OpenStack を組むことを想定
  • ダウンタイムを０にする必要はない ⇔ Hardware RAID にする予算もない
  • ディスク障害でデータ消えちゃうのはダメ ⇔ もう一個余分に民生用HDDを買って、RAID 1 (mirror) にするくらいの予算はある
• 手始めに UEFI 環境で Software RAID を組んでみる

  BIOS	IA サーバの遠いご先祖に当たる IBM-PC の組み込み Firmware。電源投入で最初に動いてハードウェアを初期化し、HDD の先頭に格納されている DOS を起動する。当初は、せいぜい 数十MB の HDD から DOS を起動するためのものだったが、だましだまし拡張して 2TB のディスクまで扱えるようになった
  UEFI	BIOS を置き換えるファームウェア。当初 intel の製品 EFI。標準化されて UEFI

結論 †

• Software RAID は無理っす
• RAID構成を作ることはできるが、復旧ができない。片系が壊れても、生き残った方からデータを復元できるかも? という程度しか期待できない
• 安心が必要なら、ケチケチせずにお金を使ったほうが良さげ
  • なんちゃってサーバなら、こんなん良さげ
    ARAID 5000 $435.00
    
    IMG SEARCH ERR for "ARAID 5000"
  • ホストOSからは 1 台の SATA 6Gbps ドライブに見える。6TB まで対応。
  • USB (RS232C over USB) 経由で OS から SNMP 監視可能
  • ARAID 5000 側に閉じて RAID1 (Mirror)、Hot Swap が実現されている。
    • 片系のHDDが故障したら、故障した HDD を引っこ抜いて、代わりの HDD を差せば勝手にリビルドが走る。
    • ホストOSからは、その間何の障害も起きていないように RAID Array にアクセスできる。ただし、SNMP経由で異常ステータスを受け取ることはできる
• あとは、RAIDとかしないでちゃんとバックアップ取るとか
• 本当にミッションクリティカルなら、やっぱりハードウェア RAID 完備のお高い IA サーバが必要。値段には値段なりの理由がある

以下、検証経緯

まずは、UEFI環境のパーティション構成を調べる †

• 検証マシン [ VMWare Fusion 8.5.3 on macOS Sierra ]
  • デフォルトの仮想マシンのファームウェアは BIOS

  • /Documents/Virtual Machines.localized/CentOS (64 ビット).vmwarevm/CentOS (64 ビット).vmx の末尾に

    firmware = "efi"

    を追記すると、仮想マシンのファームウェアが EFI になる
  • UEFIからブートされたか調べる

    $ ls -al /sys/firmware/efi
    total 0
    drwxr-xr-x.  5 root root    0 Jan 19 11:51 .
    drwxr-xr-x.  6 root root    0 Jan 19 11:51 ..
    -r--r--r--.  1 root root 4096 Jan 19 11:54 config_table
    drwxr-xr-x.  2 root root    0 Jan 19 11:51 efivars
    -r--r--r--.  1 root root 4096 Jan 19 11:54 fw_vendor
    -r--r--r--.  1 root root 4096 Jan 19 11:54 runtime
    drwxr-xr-x.  5 root root    0 Jan 19 11:54 runtime-map
    -r--------.  1 root root 4096 Jan 19 11:51 systab
    drwxr-xr-x. 24 root root    0 Jan 19 11:54 vars
    

• CentOS7をデフォルトインストールして、どんなパーティション構成になっているかを調べる

  $ lsblk 
  NAME        MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
  sda           8:0    0   20G  0 disk 
  ├─sda1        8:1    0  200M  0 part /boot/efi
  ├─sda2        8:2    0    1G  0 part /boot
  └─sda3        8:3    0 18.8G  0 part 
    ├─cl-root 253:0    0 16.8G  0 lvm  /
    └─cl-swap 253:1    0    2G  0 lvm  [SWAP]
  sr0          11:0    1 1024M  0 rom  
  

  $ sudo parted -l
  Model: VMware, VMware Virtual S (scsi)
  Disk /dev/sda: 21.5GB
  Sector size (logical/physical): 512B/512B
  Partition Table: gpt
  Disk Flags: 
  
  Number  Start   End     Size    File system  Name                  Flags
   1      1049kB  211MB   210MB   fat16        EFI System Partition  boot
   2      211MB   1285MB  1074MB  xfs
   3      1285MB  21.5GB  20.2GB                                     lvm
  
  
  Model: Linux device-mapper (linear) (dm)
  Disk /dev/mapper/cl-swap: 2147MB
  Sector size (logical/physical): 512B/512B
  Partition Table: loop
  Disk Flags: 
  
  Number  Start  End     Size    File system     Flags
   1      0.00B  2147MB  2147MB  linux-swap(v1)
  
  
  Model: Linux device-mapper (linear) (dm)
  Disk /dev/mapper/cl-root: 18.0GB
  Sector size (logical/physical): 512B/512B
  Partition Table: loop
  Disk Flags: 
  
  Number  Start  End     Size    File system  Flags
   1      0.00B  18.0GB  18.0GB  xfs
  

• 先頭の 1049KB は、論理セクタと物理セクタのアラインメント調整のため

  $ sudo parted /dev/sda unit b print
  Model: VMware, VMware Virtual S (scsi)
  Disk /dev/sda: 21474836480B
  Sector size (logical/physical): 512B/512B
  Partition Table: gpt
  Disk Flags: 
  
  Number  Start        End           Size          File system  Name                  Flags
   1      1048576B     210763775B    209715200B    fat16        EFI System Partition  boot
   2      210763776B   1284505599B   1073741824B   xfs
   3      1284505600B  21473787903B  20189282304B                                     lvm
  

  • パーティション境界のセクタ番号を 8 の倍数にする必要がある cf. CentOS インストール(BigSector対策)
  • でも、ディスクの先頭は、ディスク管理領域として (数十byte) 開けておく必要がある
  • ディスク先頭の空白領域の大きさは、性能面で重要。最初の境界さえ 8 の倍数で終わるようにしておけば、あとは MB や GB 単位で領域を確保するので自ずと境界は 8 の倍数になる。(1024/8 = 128, 1000/8 = 125)
  • 先頭をどれくらい空けるか？ ⇒ カリカリに必要な分 (数十byte) だけ空けてもいいけど、余裕を持って、だいたい 1MB で 8 で割り切れるバイト数分空ける。具体的な数字として先頭 1048576B 空けるのは Microsoft がそうしているから、みんなそれに倣っている
  • 1048576B ÷ 8 = 131072 余り 0

RAID 構成でインストール †

パーティションテーブルを作成 †

GUI インストーラーは RAID 向けにうまくパーティションを設定できないので、少なくとも /boot /boot/efi は コマンドラインで作る

1. Install DVD で起動
2. "Install CentOS 7" を選択
3. インストーラ起動後に Ctrl+Alt+F2 (Ctrl+Alt+Fn+F2) でコマンドプロンプトが起動
4. パーティションテーブル破棄

   # sgdisk -Z /dev/sda

5. GPT ラベル書き込み

   # sgdisk -o /dev/sda

6. パーティションフラグの確認

   # sgdisk -L

   ef00	EFI System
   fd00	Linux RAID
   8200	Linux swap
   8e00	Linux LVM

7. /dev/sda に、パーティションテーブルを作成
   こんな感じにしたい

            +-----------+-----------+-----------+-----------+
   /dev/sda |/boot/efi  |/boot      |swap1      |/          |
            | 256MB     |1024MB     |1024MB     |18GB       |
            +-----------+           +-----------+           |
   /dev/sdb |/boot/efi2 |           |swap2      |           |
            | 256MB     |           |1024MB     |           |
            +-----------+-----------+-----------+-----------+

   swap領域は、メモリ容量と同じになるようにする。合計でメモリ容量の 2 倍になる

   # sgdisk -n 1::+256M  -c 1:"EFI"    -t 1:ef00 /dev/sda
   # sgdisk -n 2::+1024M -c 2:"BOOTFS" -t 2:fd00 /dev/sda
   # sgdisk -n 3::+1024M -c 3:"SWAP"   -t 3:8200 /dev/sda
   # sgdisk -p /dev/sda

8. /dev/sdb に /dev/sda のパーティションテーブルをコピーして、UUID を振り直す

   # sgdisk -R /dev/sdb /dev/sda
   # sgdisk -G /dev/sdb

9. 結果確認

   $ sudo sgdisk -p /dev/sda
   Disk /dev/sda: 41943040 sectors, 20.0 GiB
   Logical sector size: 512 bytes
   Disk identifier (GUID): 71F73A8F-4BF8-48E9-A317-A557F6A8C4B9
   Partition table holds up to 128 entries
   First usable sector is 34, last usable sector is 41943006
   Partitions will be aligned on 2048-sector boundaries
   Total free space is 4029 sectors (2.0 MiB)
   
   Number  Start (sector)    End (sector)  Size       Code  Name
      1            2048          526335   256.0 MiB   EF00  EFI System Partition
      2          526336         2623487   1024.0 MiB  FD00  BOOTFS
      3         2623488         4720639   1024.0 MiB  8200  SWAP

    

   $ sudo sgdisk -p /dev/sdb
   Disk /dev/sdb: 41943040 sectors, 20.0 GiB
   Logical sector size: 512 bytes
   Disk identifier (GUID): 1646BF39-D3C2-4716-8411-8CAE32701446
   Partition table holds up to 128 entries
   First usable sector is 34, last usable sector is 41943006
   Partitions will be aligned on 2048-sector boundaries
   Total free space is 4029 sectors (2.0 MiB) 
   
   Number  Start (sector)    End (sector)  Size       Code  Name
      1            2048          526335   256.0 MiB   EF00  EFI
      2          526336         2623487   1024.0 MiB  FD00  BOOTFS
      3         2623488         4720639   1024.0 MiB  8200  SWAP

10. reboot

    # reboot

インストール †

1. パーティションは切れているけど、マウントポイントは UNKNOWN になってる
   
2. マウントポイントを設定してフォーマットする
   • /boot xfs (RAID化はあとで)
     
   • /boot/efi efi (これはRAID化できない)
     
   • / RAID1
     
   • swap1
     
   • swap2
     
3. インストールを開始すると、ディスクが２台とも動いている
   

/boot を RAID1 化する †

現時点のディスク構成は、

               1           2           3           4
         +-----------+-----------+-----------+-----------+
/dev/sda |/boot/efi  |/boot      |swap1      |/          |
         | 256MB     |1024MB     |1024MB     |18GB       |
         +-----------+-----------+-----------+           |
/dev/sdb |/boot/efi2 |/boot2     |swap2      |           |
         | 256MB     |1024MB     |1024MB     |           |
         +-----------+-----------+-----------+-----------+
                                              /dev/md/root

これを次のようにする

               1           2           3           4
         +-----------+-----------+-----------+-----------+
/dev/sda |/boot/efi  |/boot      |swap1      |/          |
         | 256MB     |1024MB     |1024MB     |18GB       |
         +-----------+           +-----------+           |
/dev/sdb |/boot/efi2 |           |swap2      |           |
         | 256MB     |           |1024MB     |           |
         +-----------+-----------+-----------+-----------+
                      /dev/md/boot            /dev/md/root

1. /deb/sdb2 に RAID1 (/dev/md/boot) を作成する

   # umount /dev/sdb2
   # rm -rf /boot2
   # mdadm --create /dev/md/boot --level=1 --raid-devices=2 missing /dev/sdb2

2. /dev/md/boot をフォーマットする

   # mkfs.xfs -f /dev/md/boot

3. /etc/mdadm.conf に /dev/md/boot を登録する

   # mdadm --examine --scan | grep "/dev/md/boot" >> /etc/mdadm.conf 
   # cat /etc/mdadm.conf 
   MAILADDR root
   AUTO +imsm +1.x -all
   ARRAY /dev/md/root level=raid1 num-devices=2 UUID=38a426a2:28d7f0c4:1a7a8885:9046ce52
   ARRAY /dev/md/boot  metadata=1.2 UUID=010cc6d9:d9013ef7:f129727f:5c13d628 name=localhost.localdomain:boot

4. /boot の内容を /dev/md/boot にコピーする

   # mount /dev/md/boot /mnt
   # cd /boot
   # cp -av ./ /mnt

5. /dev/md/boot に /dev/sda2 (元の/boot) を参加させる

   # umount /boot/efi
   # umount /boot/efi2
   # umount /boot
   # mdadm /dev/md/boot --add /dev/sda2 
   mdadm: added /dev/sda2
   # mdadm --detail /dev/md/boot

6. /etc/fstab を編集して /dev/md/boot を /boot にマウントするようにする
   • まず、blkid (ファイルシステムのUID) を調べる

     # blkid /dev/md/root
     /dev/md/root: UUID="a98e4af5-4bdd-41d6-8b5e-2ae3e7b2c126" TYPE="xfs" 
     
     # blkid /dev/md/boot
     /dev/md/boot: UUID="3ae4266f-2a5d-4dc6-a592-7e40574f8908" TYPE="xfs" 

   • /etc/fstab(変更前)

     UUID=a98e4af5-4bdd-41d6-8b5e-2ae3e7b2c126 /                       xfs     defaults        0 0
     UUID=966d9a45-09bc-4d67-be43-bcb0dd39cfd4 /boot                   xfs     defaults        0 0
     UUID=6C13-A4A6          /boot/efi               vfat    umask=0077,shortname=winnt 0 0
     UUID=6C15-E205          /boot/efi2              vfat    umask=0077,shortname=winnt 0 0
     UUID=bd2d4a6f-2ced-46ce-a4b5-f10f4242ee74 /boot2                  xfs     defaults        0 0
     UUID=855779cc-fdf1-4870-aaa1-8a247f7d5ebb swap                    swap    defaults        0 0
     UUID=5f577996-e4ec-4bab-a4b6-d38f5b8a9926 swap                    swap    defaults        
     

   • /etc/fstab(変更後)

     UUID=a98e4af5-4bdd-41d6-8b5e-2ae3e7b2c126 /                       xfs     defaults        0 0
     UUID=3ae4266f-2a5d-4dc6-a592-7e40574f8908 /boot                   xfs     defaults        0 0
     UUID=6C13-A4A6          /boot/efi               vfat    umask=0077,shortname=winnt 0 0
     UUID=6C15-E205          /boot/efi2              vfat    umask=0077,shortname=winnt 0 0
     UUID=855779cc-fdf1-4870-aaa1-8a247f7d5ebb swap                    swap    defaults        0 0
     UUID=5f577996-e4ec-4bab-a4b6-d38f5b8a9926 swap                    swap    defaults        
     

7. 新しい /boot をマウント

   # cd /
   # umount /mnt
   # mount /boot
   # mount /boot/efi

8. 起動時の 初期RAMディスクイメージの作り直し (/etc/mdadm.conf と /etc/fstab を作り直したので)

   # cd /boot
   # mv initramfs-3.10.0-514.el7.x86_64.img initramfs-3.10.0-514.el7.x86_64.img.bak
   # dracut

9. /etc/default/grub を編集して BOOT 時に /dev/md/boot をマウントできるようにする
   • まず、mdadmで RAIDデバイスのUIDを調べる

     # mdadm --detail /dev/md/root | grep UUID
               UUID : 38a426a2:28d7f0c4:1a7a8885:9046ce52
     # mdadm --detail /dev/md/boot | grep UUID
               UUID : 010cc6d9:d9013ef7:f129727f:5c13d628

   • /etc/default/grub(変更前)

     GRUB_TIMEOUT=5
     GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
     GRUB_DEFAULT=saved
     GRUB_DISABLE_SUBMENU=true
     GRUB_TERMINAL_OUTPUT="console"
     GRUB_CMDLINE_LINUX="crashkernel=auto rd.md.uuid=38a426a2:28d7f0c4:1a7a8885:9046ce52 rhgb quiet"
     GRUB_DISABLE_RECOVERY="true"
     

   • /etc/default/grub(変更後)

     GRUB_TIMEOUT=5
     GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
     GRUB_DEFAULT=saved
     GRUB_DISABLE_SUBMENU=true
     GRUB_TERMINAL_OUTPUT="console"
     GRUB_CMDLINE_LINUX="crashkernel=auto rd.md.uuid=010cc6d9:d9013ef7:f129727f:5c13d628 rd.md.uuid=38a426a2:28d7f0c4:1a7a8885:9046ce52 rhgb quiet"
     GRUB_DISABLE_RECOVERY="true"
     

10. grub 再構築

    # cp -a /boot/efi/EFI/centos/grub.cfg /boot/efi/EFI/centos/grub.cfg.orig
    # grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg

11. 再起動することを祈ってから reboot

    # shutdown -r now

12. 良さげな感じがします
    
     
    
     
    

/boot/efi を /boot/efi2 にコピーしてブートできるようにする †

1. /dev/sda1 を /dev/sdb1 にコピーする

   # dd if=/dev/sda1 of=/dev/sdb1
   524288+0 records in
   524288+0 records out
   268435456 bytes (268 MB) copied, 1.60794 s, 167 MB/s

   ※ cp でもよい

   # cp -a /dev/sda1 /dev/sdb1 
   cp: overwrite ‘/dev/sdb1’? yes

2. UUID (ファイルシステムID) がおなじになってしまったので /etc/fstab には PARTUUID (パーティションID) を記載する
   • PARTUUIDを確認

     # blkid /dev/sd[ab]1
     /dev/sda1: SEC_TYPE="msdos" UUID="6C13-A4A6" TYPE="vfat" PARTLABEL="EFI System Partition" PARTUUID="0624d820-b195-4622-8ade-5e5eff3ee6ae" 
     /dev/sdb1: SEC_TYPE="msdos" UUID="6C13-A4A6" TYPE="vfat" PARTLABEL="EFI" PARTUUID="c91b63dc-1195-4447-bc52-e04a331ddbd8" 

   • /etc/fstab

     UUID=a98e4af5-4bdd-41d6-8b5e-2ae3e7b2c126 /                       xfs     defaults        0 0
     UUID=3ae4266f-2a5d-4dc6-a592-7e40574f8908 /boot                   xfs     defaults        0 0
     PARTUUID="0624d820-b195-4622-8ade-5e5eff3ee6ae" /boot/efi         vfat    umask=0077,shortname=winnt 0 0
     PARTUUID="c91b63dc-1195-4447-bc52-e04a331ddbd8" /boot/efi2        vfat    umask=0077,shortname=winnt 0 0
     UUID=855779cc-fdf1-4870-aaa1-8a247f7d5ebb swap                    swap    defaults        0 0
     UUID=5f577996-e4ec-4bab-a4b6-d38f5b8a9926 swap                    swap    defaults        
     

3. /boot/efi /boot/efi2 をマウントし直して比較

   # mount -a
   # diff -r /boot/efi /boot/efi2

4. DISK2 (/deb/sdb) に bootmanager をインストール
   • 現状確認

     # efibootmgr -v
     BootCurrent: 0005
     BootOrder: 0005,0000,0001,0002,0003,0004
     Boot0000* EFI VMware Virtual SCSI Hard Drive (0.0)	ACPI(a0341d0,0)PCI(10,0)SCSI(0,0)
     Boot0001* EFI VMware Virtual SCSI Hard Drive (1.0)	ACPI(a0341d0,0)PCI(10,0)SCSI(1,0)
     Boot0002* EFI VMware Virtual IDE CDROM Drive (IDE 1:0)	ACPI(a0341d0,0)PCI(7,1)ATAPI(1,0,0)
     Boot0003* EFI Network	ACPI(a0341d0,0)PCI(11,0)PCI(1,0)MAC(MAC(000c29f5aebe,0)
     Boot0004* EFI Internal Shell (Unsupported option)	MM(b,e1a3000,e42ffff)FvFile(c57ad6b7-0515-40a8-9d21-551652854e37)
     Boot0005* CentOS Linux	HD(1,800,80000,0624d820-b195-4622-8ade-5e5eff3ee6ae)File(\EFI\centos\shim.efi)

   • 登録

     # efibootmgr -c -d /dev/sdb -p 1 -L "CentOS-AltDrv" -l '\EFI\centos\shim.efi'
     BootCurrent: 0005
     BootOrder: 0006,0005,0000,0001,0002,0003,0004
     Boot0000* EFI VMware Virtual SCSI Hard Drive (0.0)
     Boot0001* EFI VMware Virtual SCSI Hard Drive (1.0)
     Boot0002* EFI VMware Virtual IDE CDROM Drive (IDE 1:0)
     Boot0003* EFI Network
     Boot0004* EFI Internal Shell (Unsupported option)
     Boot0005* CentOS Linux
     Boot0006* CentOS-AltDrv

   • (参考) 削除

     # efibootmgr --inactive --bootnum 0006
     # efibootmgr --delete-bootnum --bootnum 0006

5. 起動順序 (BootOrder?) が変わってしまったので修正

   # efibootmgr --bootorder 0005,0006,0000,0001,0002,0003,0004
   BootCurrent: 0005
   BootOrder: 0005,0006,0000,0001,0002,0003,0004
   Boot0000* EFI VMware Virtual SCSI Hard Drive (0.0)
   Boot0001* EFI VMware Virtual SCSI Hard Drive (1.0)
   Boot0002* EFI VMware Virtual IDE CDROM Drive (IDE 1:0)
   Boot0003* EFI Network
   Boot0004* EFI Internal Shell (Unsupported option)
   Boot0005* CentOS Linux
   Boot0006* CentOS-AltDrv

6. 再起動することを祈ってから reboot

   # shutdown -r now

/dev/sdb が故障した場合の復旧 [失敗] †

1. DISK2 死んじゃえー

   # dd if=/dev/zero of=/dev/sdb

2. OSが落ちるので再起動
3. 再起動...しないぞ...

CentOS のインストール DVD からレスキューモードで復旧する必要あり
ちょっと現実的でない。やっぱり Software RAID は無理かな
特に boot 領域の冗長化はハードでやらないといけなそう

/dev/sda が故障した場合の復旧 [失敗] †

/dev/sdb の復旧も出来ないから /dev/sdb なんて無理

balkid の UUID と mdadm --detail の UUID の整理 †

OpenStack