k8s bcache

2024-12-042024
92.4% (338.3/366)
December
10.8% (3.3/31)
Week 49
33.6% (2.3/7)
Day 04 Wed
35.8% (8.6/24)

訪問者

total: 4146
today: 1
yesterday: 1
now: 1

更新

MenuBar

bcacheについて
目標
手順
ベンチマーク
使ってみて
[補足] インストール時にシステム領域を bcache にできないの？
[補足] なんかガリガリHDDが動いているんだけど

bcacheについて †

SSD	高価	高速
HDD	安価	低速

bcache を使って、安価だが低速な HDDのキャッシュ領域として高価で高速な SSDを使う
よく (ランダム) アクセスするデータを SSD に置いて、実用上の読み取り性能を確保しようという仕組み
まぁ、自宅の検証マシンには bcache は要らないけど、今後なにかに使うかもしれないので練習のために入れた
- Database のバックエンドに HDD を使っても、メモリが十分にあればそんなに遅くない
- HDD捨てちゃって、1TB の SSD に換装してもせいぜい 2 万円くらい
でも、今回は 1800円で、低容量のSSDを買ってきて bcache のキャッシュ領域に使ってみる
将来的にビックデータを解析するためにキャッシュ 1TB SSD + バックエンド 10TB HDD ×5 RAID とか言う構成を作るかもしれない

↑

目標 †

今回こんな感じのディスクがあったとする
SSD 512GB (/dev/nvme0n1p)
SSD 60GB (/dev/sdb)
HDD 1TB (/dev/sda)
/dev/sdb は、今回の練習用に 1800円で入手した

パーティションはこんな感じに切って Ubuntu 20.04 をインストールした

/dev/nvme0n1p1	/boot/efi	efi	537MB	537MBの根拠は http://www.rodsbooks.com/efi-bootloaders/principles.html
/dev/nvme0n1p2	/	ext4	512GB
/dev/sda1		swap	128GB	hibernateのため、最低必要量(メモリ容量の2倍)の2倍を確保
/dev/sda2			768GB	HDD
/dev/sdb1			60GB	SSD

上記の /dev/sda2 と /dev/sdb1 で /dev/bcache0 を作って、そこを /var ディレクトリとして使う

bcacheのモード

	書き込みキャッシュ	読み込みキャッシュ	SSD故障時	備考
writethrough		✓	安全
writeback	✓	✓	壊れる
writearound	✓	✓	壊れる	Backendを複数設定する
none			安全	(一時的に)キャッシュを使わないようにする

書き込みキャッシュを有効にすると、アプリがファイルを書くときに SSD に書いた段階で I/O 待ちから開放される。その代わりキャッシュのSSDが壊れたら、データが壊れる可能性がある
writethroughは、書き込み時は HDD に書き込み、読み込み時にデータが SSD に乗っていたら SSD から読み込む

モードの確認

$ cat /sys/block/bcache0/bcache/cache_mode
[writethrough] writeback writearound none

一時的な変更

# echo "writeback" > /sys/block/bcache0/bcache/cache_mode

恒久的な変更は /etc/tmpfile.d/bcache.conf に、 /sys/block/bcache[0-9]/bcache/cache_mode に変更値を書き込む設定をする
```
w /sys/block/bcache0/bcache/cache_mode        - - - - writeback
```
cf. man tmpfiles.d
モードについて http://atlas.evilpiepirate.org/git/linux-bcache.git/tree/Documentation/bcache.txt

↑

手順 †

bcacheのインストール　
```
$ sudo apt install bcache-tools
```

ディスクスライスのクリア　

$ sudo wipefs -a /dev/sda2 
$ sudo wipefs -a /dev/sdb1

Backend /dev/sda2, Cache /dev/sdb1 で /dev/bcache0 を構築
```
$ sudo make-bcache -B /dev/sda2 -C /dev/sdb1
```
このコマンドで作られる /dev/bcache0 は、普通のディスクスライスとして使える

モードの確認

$ cat /sys/block/bcache0/bcache/cache_mode
[writethrough] writeback writearound none

/dev/bcache0 を ext4 でフォーマット
```
$ sudo mkfs -t ext4 /dev/bcache0
```
/var の引っ越し
Single User mode に入って、/var へ書き込まれないようにした上で、/var をコピーする
```
# init 1
# cd /mnt
# mkdir var_new
# mount /dev/bcache0 var_new/
# rsync -au /var/* var_new/
```
旧 var を別名で退避する
```
# mv /var /var_old
# mkdir /var
```
/dev/bcache0 を /var としてマウントする。/etc/fstab に次の定義を追加
```
UUID=d5817f98-b3a2-4db7-abfc-e5b8a1934138 /var ext4 nodev,nofail 0 0
```
- ディスクスライスのUUIDは、
```
$ sudo fdisk -l
$ sudo ls -l /dev/disk/by-uuid/
```
  で調べる
- /etc/fstab の内容を即時変更する場合は
```
$ sudo mount -a
```
  を実行する
再起動して、df -h なんかで /var が /dev/bcache0 になっていることを確認する

↑

ベンチマーク †

disk util のベンチマーク
- 読み込み 153MB/s
- 書き込み 127MB/s
- キャッシュが効いてないと、ほぼ HDD の性能ですな

キャッシュを効かせた場合の簡易ベンチマーク

$ sudo dd if=/dev/zero of=/var/bench bs=64k count=32K conv=fdatasync 
32768+0 レコード入力
32768+0 レコード出力
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 11.8105 s, 182 MB/s

$ sudo dd if=/var/bench of=/dev/null
4194304+0 レコード入力
4194304+0 レコード出力
2147483648 bytes (2.1 GB, 2.0 GiB) copied, 3.94766 s, 544 MB/s

書き込みは HDD の性能。読み込みは SSD の性能
善きかな善きかな

writebackモードにしても、この簡易ベンチマークでは書き込み性能は同じだった

↑

使ってみて †

ベンチマークでは芳しい結果が出ないんだけど、
/var を Steam （ゲームプラットフォーム) の作業領域にしたところ、確かに SSD 並の速度でゲームが起動するようになった
- writethrought モードでも、起動は SSD 並に早い
- writeback モードにすると、自動セーブのときにも、ほぼ SSD を使っているのと変わらない(むしろ速い)
ベンチマークでは、データがキャッシュに乗ってないから性能でないのかな？
- ということは、ミドルウェアやゲームでは、固定的なデータ領域を読み書きするので効果ありだろう
- 逆に、仮想通貨のマイニング（ファーミング）などのように、どんどんデータが増えていくようなのは不得意かな。そういうのにはちゃんと RAID を用意して書き込みバッファをてんこ盛りにしたほうがいいだろう
- 機械学習については場合によるかもね。同じデータを何度もパラメータを替えて学習するような場合には、ちゃんとキャッシュに乗ってくれるんじゃなかろうか

↑

[補足] インストール時にシステム領域を bcache にできないの？ †

やっている人はいる
- Thinkpad x220にUbuntu 16.04をbcache付きでインストール https://wakimiunten.hatenablog.com/entry/2017/06/10/190753
自分もやってみたけどうまく動かなかった。OSが起動しない
- Ubuntu のインストーラがインストール時に bcache を入れてくれないので、インストール後にゴニョゴニョしないとだめ
- やってみたけど、OS (Ubuntu20.04) が起動時に /dev/bcache0 を見つけられずに起動しなかった
クリーンインストール直後に /var を引っ越しするのが良い

↑

[補足] なんかガリガリHDDが動いているんだけど †

SSDにキャッシュが貯まるまで、なんにも使ってなくてもガリガリ動きます
しばらくするとおとなしくなる
とくに writeback モードにすると、本当に HDD のアクセス音がしなくなる

Deep Learning

目次

訪問者

更新

最新の10件

人気の10件