DeepLearning MongoDB

2021-07-282021
57.1% (208.6/365)
July
89.1% (27.6/31)
Week 30
37.6% (2.6/7)
Day 28 Wed
63.7% (15.2/24)

訪問者

total: 1635
today: 4
yesterday: 4
now: 9

更新

MenuBar

MongoDBの位置づけ
RDB vs MongoDB
インストール
Mongo Shell の練習
検索

MongoDBの位置づけ †

	種別	製品例	利用シーン
SQL	RDB	Oracle, PostgreSQL, MySQL	一般業務 (トランザクション処理)
NoSQL	KVS (Key-Value Store)	Memcached, Redis	キャッシュ
	ドキュメント指向DB	MongoDB, CouchDB, Elasticsearch	不定形なJSONがたくさんあるんでうまいこと管理してほしい
	列指向DB	Cassandra, HBase	Big Data の分析 (たくさんの属性をもつデータのあつまりから、ある属性(=ある列)だけを横断的にとってくる)

NoSQLが出はじめのころは、RDBを置き換えようという勢いだったけど、最近 (2019) は、RDB の補完の位置づけ
- RDB+KVS で、マスターデータを KVS でキャッシュするとかよくやられる
- HBase は、ガチの BigData? 分析で使う
ドキュメント指向DBは、良くも悪くも不定形なJSONのストレージですわな
- 多種・大量のログをとにかくぶち込む (Elasticsearch)
- 将来のデータ構造の変更を前提に、とりあえずお気軽にアプリを作ってみる (CouchDB = カウチDB)
- そこそこの量の不定形データをRDBっぽく使いたい (MongoDB = humongous db ばかでかい)
ここでは、自分が機械学習に使うデータを MongoDB で管理することにする
- CSV や Excel で管理するには大きすぎるデータセット
- でも、がっつり HBase を組むほどではない

↑

RDB vs MongoDB †

MongoDB のデータ構造の概念は、RDB と似ている
RDB MongoDB
database database
table collection
row document
column field
index index
primary key _id field(*)
_id field は、document ごとに勝手に採番される
RDB
- データは、テーブルに漏れなく・ダブりなく配置される
- テーブル(table) に格納されている行(row) 同士の関係 (relation) によって、データを表す
MongoDB
- データは、コレクションに重複して格納される
- ドキュメント (document) には、必要な情報がすべて格納され、ドキュメント同士は関係しない
MongoDB には、トランザクションがない

RDB	MongoDB
database	database
table	collection
row	document
column	field
index	index
primary key	_id field(*)

↑

インストール †

Linux (Debian) の場合

$ sudo apt install mongodb
$ sudo systemctrl start mongodb

↑

Mongo Shell の練習 †

教科書
- The Little MongoDB Book, https://www.openmymind.net/2011/3/28/The-Little-MongoDB-Book/
- MongoDBの薄い本(日本語訳), https://www.cuspy.org/diary/2012-04-17/

Database を作る

$ /usr/bin/mongo
MongoDB shell version: 3.2.11
connecting to: test
Welcome to the MongoDB shell.
> use learn
switched to db learn
> show dbs
learn  0.000GB
local  0.000GB

Database を削除する
```
> use learn
> db.dropDatabase();
```

Collection と Document を作成する

> db.getCollectionNames()
[ ]
> db.unicorns.insert({name: 'Aurora', gender: 'f', weight: 450})
WriteResult({ "nInserted" : 1 })
> db.getCollectionNames()
[ "unicorns" ]

Document の削除

> db.unicorns.remove({})
WriteResult({ "nRemoved" : 2 })

練習用のオブジェクトの導入

> db.load('unicorns.js');
true

unicorns.jsはこんな感じ

db.unicorns.insert({
  name: "Horny",
  dob: new Date(1992, 2, 13, 7, 47),
  loves: ["carrot", "papaya"],
  weight: 600,
  gender: "m",
  vampires: 63
});
db.unicorns.insert({
  name: "Aurora",
  dob: new Date(1991, 0, 24, 13, 0),
  loves: ["carrot", "grape"],
  weight: 450,
  gender: "f",
  vampires: 43
});
db.unicorns.insert({
  name: "Unicrom",
  dob: new Date(1973, 1, 9, 22, 10),
  loves: ["energon", "redbull"],
  weight: 984,
  gender: "m",
  vampires: 182
});
db.unicorns.insert({
  name: "Roooooodles",
  dob: new Date(1979, 7, 18, 18, 44),
  loves: ["apple"],
  weight: 575,
  gender: "m",
  vampires: 99
});
db.unicorns.insert({
  name: "Solnara",
  dob: new Date(1985, 6, 4, 2, 1),
  loves: ["apple", "carrot", "chocolate"],
  weight: 550,
  gender: "f",
  vampires: 80
});
db.unicorns.insert({
  name: "Ayna",
  dob: new Date(1998, 2, 7, 8, 30),
  loves: ["strawberry", "lemon"],
  weight: 733,
  gender: "f",
  vampires: 40
});
db.unicorns.insert({
  name: "Kenny",
  dob: new Date(1997, 6, 1, 10, 42),
  loves: ["grape", "lemon"],
  weight: 690,
  gender: "m",
  vampires: 39
});
db.unicorns.insert({
  name: "Raleigh",
  dob: new Date(2005, 4, 3, 0, 57),
  loves: ["apple", "sugar"],
  weight: 421,
  gender: "m",
  vampires: 2
});
db.unicorns.insert({
  name: "Leia",
  dob: new Date(2001, 9, 8, 14, 53),
  loves: ["apple", "watermelon"],
  weight: 601,
  gender: "f",
  vampires: 33
});
db.unicorns.insert({
  name: "Pilot",
  dob: new Date(1997, 2, 1, 5, 3),
  loves: ["apple", "watermelon"],
  weight: 650,
  gender: "m",
  vampires: 54
});
db.unicorns.insert({
  name: "Nimue",
  dob: new Date(1999, 11, 20, 16, 15),
  loves: ["grape", "carrot"],
  weight: 540,
  gender: "f"
});
db.unicorns.insert({
  name: "Dunx",
  dob: new Date(1976, 6, 18, 18, 18),
  loves: ["grape", "watermelon"],
  weight: 704,
  gender: "m",
  vampires: 165
});

↑

検索 †

https://docs.mongodb.com/manual/reference/operator/query/#query-selectors
- compare
  $eq equal
  $ne not equal
  $gt greater than
  $gte greater than equal
  $lt less than
  $lte less than equal
- array
  $in in
  $nin not in
- logic
  $and and
  $not not
  $nor not or
  $or or
- element
  $exists Do this element exist?

実行例

オスかつ体重700kg以上

> db.unicorns.find({gender: 'm', weight: {$gt: 700}});
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de0"), "name" : "Unicrom", "dob" : ISODate("1973-02-09T13:10:00Z"), "loves" : ["energon", "redbull" ], "weight" : 984, "gender" : "m", "vampires" : 182 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de9"), "name" : "Dunx", "dob" : ISODate("1976-07-18T09:18:00Z"), "loves" : ["grape", "watermelon" ], "weight" : 704, "gender" : "m", "vampires" : 165 }

オスまたは体重700kg以上

> db.unicorns.find({$or : [{gender: 'm'}, {weight: {$gt: 700}}]});
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5dde"), "name" : "Horny", "dob" : ISODate("1992-03-12T22:47:00Z"), "loves" : ["carrot", "papaya" ], "weight" : 600, "gender" : "m", "vampires" : 63 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de0"), "name" : "Unicrom", "dob" : ISODate("1973-02-09T13:10:00Z"), "loves" : ["energon", "redbull" ], "weight" : 984, "gender" : "m", "vampires" : 182 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de1"), "name" : "Roooooodles", "dob" : ISODate("1979-08-18T09:44:00Z"), "loves": [ "apple" ], "weight" : 575, "gender" : "m", "vampires" : 99 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de3"), "name" : "Ayna", "dob" : ISODate("1998-03-06T23:30:00Z"), "loves" : ["strawberry", "lemon" ], "weight" : 733, "gender" : "f", "vampires" : 40 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de4"), "name" : "Kenny", "dob" : ISODate("1997-07-01T01:42:00Z"), "loves" : ["grape", "lemon" ], "weight" : 690, "gender" : "m", "vampires" : 39 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de5"), "name" : "Raleigh", "dob" : ISODate("2005-05-02T15:57:00Z"), "loves" : ["apple", "sugar" ], "weight" : 421, "gender" : "m", "vampires" : 2 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de7"), "name" : "Pilot", "dob" : ISODate("1997-02-28T20:03:00Z"), "loves" : ["apple", "watermelon" ], "weight" : 650, "gender" : "m", "vampires" : 54 }
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de9"), "name" : "Dunx", "dob" : ISODate("1976-07-18T09:18:00Z"), "loves" : ["grape", "watermelon" ], "weight" : 704, "gender" : "m", "vampires" : 165 }

apple か grap が好き

> db.unicorns.find({"loves" : { $in : ["apple", "grape"] }}, {"_id":0, "name":1, "loves":1, "gender":1})
{ "name" : "Aurora", "loves" : [ "carrot", "grape" ], "gender" : "f" }
{ "name" : "Roooooodles", "loves" : [ "apple" ], "gender" : "m" }
{ "name" : "Solnara", "loves" : [ "apple", "carrot", "chocolate" ], "gender" : "f" }
{ "name" : "Kenny", "loves" : [ "grape", "lemon" ], "gender" : "m" }
{ "name" : "Raleigh", "loves" : [ "apple", "sugar" ], "gender" : "m" }
{ "name" : "Leia", "loves" : [ "apple", "watermelon" ], "gender" : "f" }
{ "name" : "Pilot", "loves" : [ "apple", "watermelon" ], "gender" : "m" }
{ "name" : "Nimue", "loves" : [ "grape", "carrot" ], "gender" : "f" }
{ "name" : "Dunx", "loves" : [ "grape", "watermelon" ], "gender" : "m" }

表示項目の制御は、第二引数にJSONで記述する。表示したい項目に1を設定する。_idだけはデフォルトで1なので、表示したくない場合には明示的に0を指定する必要がある

整形して出力

> db.unicorns.find({"loves" : { $in : ["apple", "grape"] }}, {"_id":0, "name":1, "loves":1, "gender":1}).pretty()

項目が存在する

> db.unicorns.find({vampires: {$exists: false}})
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de8"), "name" : "Nimue", "dob" : ISODate("1999-12-20T07:15:00Z"), "loves" : ["grape", "carrot" ], "weight" : 540, "gender" : "f" }

なんか、血を吸わないのは Nimue だけみたい

_id指定で検索する場合

> db.unicorns.find({_id: ObjectId("5e0de0f41bf1dc20dedb5de1")})
{ "_id" : ObjectId("5e0de0f41bf1dc20dedb5de1"), "name" : "Roooooodles", "dob" : ISODate("1979-08-18T09:44:00Z"), "loves": [ "apple" ], "weight" : 575, "gender" : "m", "vampires" : 99 }

Deep Learning