DeepLearning 青空文庫をまるごとダウンロード

目次

FrontPage
・Windows11
・Chromebook
・Random
・機械学習
・さくらVPS
・Fedora13
・SuSe10
・Docker
・Ansible
・Java
・Scala
・Python
・Ruby
・Lisp
・Computer
・GIS
・HTML
・Culture
・Link

訪問者

total: 4151
today: 1
yesterday: 1
now: 1

更新

最新の10件

人気の10件

MenuBar

• 青空文庫は、Github に全コンテンツがある
  • https://github.com/aozorabunko/aozorabunko
• ということで

  $ echo "git clone --depth 1 https://github.com/aozorabunko/aozorabunko.git" | batch
  $ vnstat -i wlx503eaadaff7a -l
  Monitoring wlx503eaadaff7a...    (press CTRL-C to stop)
  
    rx:     7.05 Mbit/s   586 p/s          tx:      143 kbit/s   181 p/s

  • git コマンドに -depth 1 オプションを付けると、最新の commit しか clone してこないらしい
  • 7Mbps で 10GB くらいをダウンロード 3時間くらいかかるかな

    10 * 8 * 1024 / 7 = 11701
    11701 / 60  / 60 = 3.2

• 展開

  $ find ../aozorabunko/cards/ -name *.zip -exec unzip -o {} \;

• Apache Lucene で全文検索する → Apache Lucene

Deep Learning