DeepLearning Pandas + Postgresql

目次

FrontPage
・Chromebook
・Random
・機械学習
・さくらVPS
・Fedora13
・SuSe10
・Docker
・Ansible
・Java
・Scala
・Python
・Ruby
・Lisp
・Computer
・GIS
・HTML
・Culture
・Link

訪問者

total: 185
today: 1
yesterday: 1
now: 9

更新

最新の10件

人気の10件

MenuBar

準備 †

• Docker Compose で作る機械学習の開発環境 の続き
• Pandasでいろいろ試したNOTE Pandas.ipynb
• Pandas+Pgsqlでいろいろ試したNOTE pgsql.ipynb
• Postgresql ドライバのインストール

  $ sudo apt install libpq-dev 
  $ poetry add -D psycopg2 sqlalchemy

Deep Learning の学習・テストデータの格納 †

• RDBに、画像や行列を格納することはできないので、numpy.ndarray を pickel でシリアライズして登録する
• CIFER10

  列名	型	説明
  id	bigserial	PK
  img_id	bigint	FK。img番号 (numpy.ndarray 形式の画像データ)
  label	integer	imgのラベル (0:ねこ, 1:いぬ, 2:にんげん とか)
  purpose	integer	学習(0)・テスト(1)種別

• mumpy_arrays

  列名	型	説明
  id	bigserial	PK
  np_array_bytes	bytea	numpy.ndarray を pickel でシリアライズして格納する

• 格納コード (多分こんなかんじじゃないかと...未検証)

  cursor.execute(
      """
      INSERT INTO numpy_arrays(np_array_bytes)
      VALUES (%s)
      RETURNING id;
      """,
      (pickle.dumps(some_array))
  )
  
  img_id = cu.fetchone()[0]
  
  cursor.execute(
      """
      INSERT INTO CIFER10(img_id, label, purpose)
      VALUES (%s,%s,%s)
      """,
      (img_id, label, 0)
  )
  

• 読み出しコード (未検証)

  cursor.execute(
      """
      SELECT numpy_arrays.nyumpy_array
      FROM CIFER10, numpy_arrays
      WHERE CIFER10.id=%s AND CIFER10.img_id = numpy_arrays.id
      """,
      (id)
  )
  some_array = pickle.loads(cursor.fetchone()[0])
  

Deep Learning