Mongodb数据库

    xiaoxiao2025-06-02  94

     

    介绍

    在前面的课程中我们学习了mysql这种关系型数据库,那么接下来,我们会来学习一种非关系型数据库mongodb

    内容

    mongodb的介绍mongodb的安装mongodb的权限管理mongodb的基本操作mongodb的数据查询mongdb的聚合操作索引操作备份恢复与导出导入mongo和python交互

    Mongodb的介绍和安装

    学习目标

    了解 非关系型数据库和关系型数据库的区别了解 mongodb的优势掌握 mongodb的安装

    1 nosql的介绍

    “NoSQL”⼀词最早于1998年被⽤于⼀个轻量级的关系数据库的名字随着web2.0的快速发展, NoSQL概念在2009年被提了出来NoSQL在2010年⻛⽣⽔起, 现在国内外众多⼤⼩⽹站, 如facebook、 google、 淘宝、 京东、 百度等, 都在使⽤nosql开发⾼性能的产品对于⼀名程序员来讲, 使⽤nosql已经成为⼀条必备技能NoSQL最常⻅的解释是“non-relational”, “Not Only SQL”也被很多⼈接受, 指的是⾮关系型的数据库

    2 关系型和非关系型的介绍

    对于关系型数据库,存储数据的时候需要提前建表建库,随着数据的复杂度越来越高,所建的表的数量也越来越多;但是非关系型却不需要

    3 mongodb的优势

    易扩展: NoSQL数据库种类繁多, 但是⼀个共同的特点都是去掉关系数据库的关系型特性。 数据之间⽆关系, 这样就⾮常容易扩展⼤数据量, ⾼性能: NoSQL数据库都具有⾮常⾼的读写性能, 尤其在⼤数据量下, 同样表现优秀。 这得益于它的⽆关系性, 数据库的结构简单灵活的数据模型: NoSQL⽆需事先为要存储的数据建⽴字段, 随时可以存储⾃定义的数据格式。 ⽽在关系数据库⾥, 增删字段是⼀件⾮常麻烦的事情。 如果是⾮常⼤数据量的表, 增加字段简直就是⼀个噩梦

    4 mongodb的安装

    4.1 命令安装

    sudo apt-get install -y mongodb https://docs.mongodb.com/manual/tutorial/install-mongodb-on-ubuntu/

    4.2 源码安装

    5 mongodb的启动

    5.1 服务端mongodb的启动

    启动方式1:

    启动: sudo service mongod start (sudo service mongodb start ,mongod 改为 mongodb, 下同)停止: sudo service mongod stop重启: sudo service mongod restart配置文件的位置:/etc/mongod.conf日志的位置:/var/log/mongodb/mongod.log默认端⼝:27017

    启动方式2:

    启动: sudo mongod [--dbpath=dbpath --logpath=logpath --append -fork] [–f logfile ]只以 sudo mongod 命令启动时,默认将数据存放在了 /data/db 目录下,需要手动创建--dbpath: 指定数据库的存放路径--logpath: 指定日志的存放路径--logappend: 设置日志的写入形式为追加模式-fork: 开启新的进程运行mongodb服务f: 配置文件(可以将上述配置信息写入文件然后通过本参数进行加载启动)

    5.2 客户端mongo

    启动本地客户端:mongo查看帮助:mongo –help退出:exit或者ctrl+c

    5.3 mongodb的官方文档

    位置:https://docs.mongodb.com/manual/introduction/

    Mongodb的权限管理

    学习目标

    了解 mongodb的权限管理


    1 为什么要进行权限管理的设置

    刚安装完毕的mongodb默认不使用权限认证方式启动,与MySQL不同,mongodb在安装的时候并没有设置权限,然而公网运行系统需要设置权限以保证数据安全,所以我们要学习mongodb的权限管理

    2 mongodb的权限管理方案

    MongoDB是没有默认管理员账号,所以要先添加管理员账号,并且mongodb服务器需要在运行的时候开启验证模式 用户只能在用户所在数据库登录(创建用户的数据库),包括管理员账号。管理员可以管理所有数据库,但是不能直接管理其他数据库,要先认证后才可以。

    3 mongodb超级管理员账号的创建

    3.1. 以权限认证的方式启动mongodb数据库

    sudo mongod -auth

    启动之后在启动信息中会有如下信息,说明mongodb以权限认证的方式启动成功

    [initandlisten] options: { security: { authorization: "enabled" } }

    3.2. 创建超级用户 使用admin数据库(超级管理员账号必须创建在该数据库上)

    use admin

    创建超级用户

    db.createUser({"user":"python","pwd":"python","roles":["root"]})

    创建成功会显示如下信息

    Successfully added user: { "user" : "python", "roles" : [ "root" ] }

    3.3 退出客户端再次登录验证 此时再使用数据库各命令的时候会报权限错误,需要认证才能执行相应操作

    use admin db.auth('python','python') 1

    python用户是创建在admin数据库上的所以必须来到admin数据库上进行认证,认证成功会返回1,失败返回0

    4 创建普通用户

    1.选择需要创建用户的数据库

    use test1

    2.在使用的数据库上创建普通用户

    db.createUser("user":"user1", "pwd":"pwd1", roles:["read"]) 创建普通用户user1,该用户在test1上的权限是只读 db.createUser("user":"user1", "pwd":"pwd1", roles:["readWrite"]) 创建普通用户user1,该用户在test1上的权限是读写

    3.在其他数据库上创建普通用户

    use admin db.createUser({"user":"python1", "pwd":"python1", roles:[{"role":"read","db":"dbname1"},{"role":"readWrite","db":"dbname2"} ]})

    在admin上创建python1用户,python1用户的权限有两个,一个再dbname1上的只读,另一个是在dbname2上的读写

    5 查看创建的用户

    show users { "_id" : "admin.python", "user" : "python", "db" : "admin", "roles" : [ { "role" : "root", "db" : "admin" } ] }

    6 删除用户

    db.dropUser('python')

    小结

    了解mongodb的权限管理熟悉创建用户的相应流程

    mongodb的基本使用

    学习目标

    掌握 mongodb关于数据库和集合的基础命令掌握 mongdb增删改查的命令掌握 mongodb高级查询的命令掌握 mongodb查询结果的操作

    1 mongodb数据库的命令

    查看当前的数据库:db(没有切换数据库的情况下默认使用test数据库)查看所有的数据库:show dbs /show databases切换数据库:use db_name删除当前的数据库:db.dropDatabase()

    2 mongodb集合的命令

    不手动创建集合: 向不存在的集合中第⼀次加⼊数据时, 集合会被创建出来手动创建结合: db.createCollection(name,options)db.createCollection("stu")db.createCollection("sub", { capped : true, size : 10 } )参数capped: 默认值为false表示不设置上限,值为true表示设置上限参数size: 当capped值为true时, 需要指定此参数, 表示上限⼤⼩,当⽂档达到上限时, 会将之前的数据覆盖, 单位为字节查看集合:show collections删除集合:db.集合名称.drop()检查集合是否有上限: db.集合名.isCapped()

    3 mongodb中常见的数据类型

    3.1 常见类型

    Object ID: ⽂档IDString: 字符串, 最常⽤, 必须是有效的UTF-8Boolean: 存储⼀个布尔值, true或falseInteger: 整数可以是32位或64位, 这取决于服务器Double: 存储浮点值Arrays: 数组或列表, 多个值存储到⼀个键Object: ⽤于嵌⼊式的⽂档, 即⼀个值为⼀个⽂档Null: 存储Null值Timestamp: 时间戳, 表示从1970-1-1到现在的总秒数Date: 存储当前⽇期或时间的UNIX时间格式

    3.2 注意点

    每个⽂档都有⼀个属性, 为_id, 保证每个⽂档的唯⼀性,mongodb默认使用_id作为主键

    可以⾃⼰去设置_id插⼊⽂档,如果没有提供, 那么MongoDB为每个⽂档提供了⼀个独特的_id, 类型为objectID

    objectID是⼀个12字节的⼗六进制数,每个字节两位,一共是24 位的字符串: 前4个字节为当前时间戳 接下来3个字节的机器ID 接下来的2个字节中MongoDB的服务进程id 最后3个字节是简单的增量值

    4 mongodb的增删改查

    4.1 mongodb的插入

    db.集合名称.insert(document)

    db.stu.insert({name:'gj',gender:1}) db.stu.insert({_id:"20170101",name:'gj',gender:1})

    插⼊⽂档时, 如果不指定_id参数, MongoDB会为⽂档分配⼀个唯⼀的ObjectId

    4.2 mongodb的保存

    命令:db.集合名称.save(document) 如果⽂档的_id已经存在则修改, 如果⽂档的_id不存在则添加

    4.3 mongodb的简单查询

    命令:db.集合名称.find()

    4.4 mongodb的更新

    命令:db.集合名称.update(<query> ,<update>,{multi: <boolean>})

    参数query:查询条件参数update:更新操作符参数multi:可选, 默认是false,表示只更新找到的第⼀条记录, 值为true表示把满⾜条件的⽂档全部更新 db.stu.update({name:'hr'},{name:'mnc'}) 全文档进行覆盖更新 db.stu.update({name:'hr'},{$set:{name:'hys'}}) 指定键值更新操作 db.stu.update({},{$set:{gender:0}},{multi:true}) 更新全部

    注意:"multi update only works with $ operators"

    4.5 mongodb的删除

    命令:db.集合名称.remove(<query>,{justOne: <boolean>})

    参数query:可选,删除的⽂档的条件参数justOne:可选, 如果设为true或1, 则只删除⼀条, 默认false, 表示删除多条

    5 mongodb的高级查询

    知识点:

    掌握mongodb的数据查询操作掌握比较运算符的使用掌握逻辑运算符的使用掌握范围运算符的使用了解正则的使用掌握skip和limit的使用掌握投影方法的使用掌握排序方法的使用了解去重方法的使用

    5.1 数据查询

    ⽅法find(): 查询

    db.集合名称.find({条件⽂档})

    ⽅法findOne():查询,只返回第⼀个

    db.集合名称.findOne({条件⽂档})

    ⽅法pretty(): 将结果格式化

    db.集合名称.find({条件⽂档}).pretty()

    5.2 比较运算符

    可以使用以下数据进行练习

    {"name" : "郭靖", "hometown" : "蒙古", "age" : 20, "gender" : true } {"name" : "⻩蓉", "hometown" : "桃花岛", "age" : 18, "gender" : false } {"name" : "华筝", "hometown" : "蒙古", "age" : 18, "gender" : false } {"name" : "⻩药师", "hometown" : "桃花岛", "age" : 40, "gender" : true } {"name" : "段誉", "hometown" : "⼤理", "age" : 16, "gender" : true } {"name" : "段王爷", "hometown" : "⼤理", "age" : 45, "gender" : true } {"name" : "洪七公", "hometown" : "华⼭", "age" : 18, "gender" : true } 等于: 默认是等于判断, 没有运算符⼩于:$lt (less than)⼩于等于:$lte (less than equal)⼤于:$gt (greater than)⼤于等于:$gte

    不等于:$ne

    例如:

    查询年龄大于18的所有学生 db.stu.find({age:{$gte:18}})

    5.3 逻辑运算符

    逻辑运算符主要指与、或逻辑

    and:在json中写多个条件即可

    查询年龄⼤于或等于18, 并且性别为true的学⽣ db.stu.find({age:{$gte:18},gender:true})

    or:使⽤$or, 值为数组, 数组中每个元素为json

    查询年龄⼤于18, 或性别为false的学⽣ db.stu.find({$or:[{age:{$gt:18}},{gender:false}]}) 查询年龄⼤于18或性别为男⽣, 并且姓名是郭靖 db.stu.find({$or:[{age:{$gte:18}},{gender:true}],name:'gj'})

    5.4 范围运算符

    使⽤$in, $nin 判断数据是否在某个数组内

    查询年龄为18、 28的学⽣ db.stu.find({age:{$in:[18,28,38]}})

    5.5 ⽀持正则表达式

    使⽤//或$regex编写正则表达式

    查询sku以abc开头的数据 db.products.find({sku:/^abc/}) 查询sku以789结尾的数据 db.products.find({sku:{$regex:'789$'}}) { "_id" : 100, "sku" : "abc123", "description" : "Single line description." } { "_id" : 101, "sku" : "abc789", "description" : "First line\nSecond line" } { "_id" : 102, "sku" : "xyz456", "description" : "Many spaces before line" } { "_id" : 103, "sku" : "xyz789", "description" : "Multiple\nline description" }

    5.6 自定义查询*

    由于mongo的shell是一个js的执行环境 使⽤$where后⾯写⼀个函数, 返回满⾜条件的数据

    查询年龄⼤于30的学⽣ db.stu.find({ $where:function() { return this.age>30;} })

    5.7 skip和limit

    ⽅法limit(): ⽤于读取指定数量的⽂档

    db.集合名称.find().limit(NUMBER) 查询2条学⽣信息 db.stu.find().limit(2)

    ⽅法skip(): ⽤于跳过指定数量的⽂档

    db.集合名称.find().skip(NUMBER) db.stu.find().skip(2)

    同时使用

    db.stu.find().limit(4).skip(5) 或 db.stu.find().skip(5).limit(4)

    注意:先使用skip在使用limit的效率要高于前者

    5.8 投影

    在查询到的返回结果中, 只选择必要的字段

    命令:db.集合名称.find({},{字段名称:1,...})

    参数为字段与值, 值为1表示显示, 值为0不显 特别注意: 对于_id列默认是显示的, 如果不显示需要明确设置为0

    db.stu.find({},{_id:0,name:1,gender:1})

    5.9 排序

    ⽅法sort(), ⽤于对 集进⾏排序

    命令:db.集合名称.find().sort({字段:1,...})

    参数1为升序排列 参数-1为降序排列

    根据性别降序, 再根据年龄升序 db.stu.find().sort({gender:-1,age:1})

    5.10 统计个数

    ⽅法count()⽤于统计结果集中⽂档条数

    命令:db.集合名称.find({条件}).count() 命令:db.集合名称.count({条件})

    db.stu.find({gender:true}).count() db.stu.count({age:{$gt:20},gender:true})

    5.11 消除重复

    ⽅法distinct()对数据进⾏去重

    命令:db.集合名称.distinct('去重字段',{条件})

    db.stu.distinct('hometown',{age:{$gt:18}})

    小结

    掌握数据库和集合相关的命令掌握基本的增删改查命令掌握mongodb的高级查询命令掌握mongodb查询结果的相关操作

     

     

    mongodb的聚合操作

    学习目标

    了解 mongodb的聚合原理掌握 mongdb的管道命令掌握 mongdb的表达式

    1 mongodb的聚合是什么

    聚合(aggregate)是基于数据处理的聚合管道,每个文档通过一个由多个阶段(stage)组成的管道,可以对每个阶段的管道进行分组、过滤等功能,然后经过一系列的处理,输出相应的结果。

    语法:db.集合名称.aggregate({管道:{表达式}})

    2 mongodb的常用管道和表达式

    知识点:

    掌握mongodb中管道的语法掌握mongodb中管道命令

    2.1 常用管道命令

    在mongodb中,⽂档处理完毕后, 通过管道进⾏下⼀次处理 常用管道命令如下:

    $group: 将集合中的⽂档分组, 可⽤于统计结果$match: 过滤数据, 只输出符合条件的⽂档$project: 修改输⼊⽂档的结构, 如重命名、 增加、 删除字段、 创建计算结果$sort: 将输⼊⽂档排序后输出$limit: 限制聚合管道返回的⽂档数$skip: 跳过指定数量的⽂档, 并返回余下的⽂档

    2.2 常用表达式

    表达式:处理输⼊⽂档并输出 语法:表达式:'$列名' 常⽤表达式:

    $sum: 计算总和, $sum:1 表示以⼀倍计数$avg: 计算平均值$min: 获取最⼩值$max: 获取最⼤值$push: 在结果⽂档中插⼊值到⼀个数组中

    3 管道命令之$group

    3.1 按照某个字段进行分组

    $group是所有聚合命令中用的最多的一个命令,用来将集合中的文档分组,可用于统计结果

    使用示例如下

    db.stu.aggregate( {$group: { _id:"$gender", counter:{$sum:1} } } )

    其中注意点:

    db.db_name.aggregate是语法,所有的管道命令都需要写在其中_id 表示分组的依据,按照哪个字段进行分组,需要使用$gender表示选择这个字段进行分组$sum:1 表示把每条数据作为1进行统计,统计的是该分组下面数据的条数

    3.2 group by null

    当我们需要统计整个文档的时候,$group 的另一种用途就是把整个文档分为一组进行统计

    使用实例如下:

    db.stu.aggregate( {$group: { _id:null, counter:{$sum:1} } } )

    其中注意点:

    _id:null 表示不指定分组的字段,即统计整个文档,此时获取的counter表示整个文档的个数

    3.3 数据透视

    正常情况在统计的不同性别的数据的时候,需要知道所有的name,需要逐条观察,如果通过某种方式把所有的name放到一起,那么此时就可以理解为数据透视

    使用示例如下:

    统计不同性别的学生

    db.stu.aggregate( {$group: { _id:null, name:{$push:"$name"} } } )

    使用$$ROOT可以将整个文档放入数组中

    db.stu.aggregate( {$group: { _id:null, name:{$push:"$$ROOT"} } } )

    3.4 动手

    对于如下数据,需要统计出每个country/province下的userid的数量(同一个userid只统计一次)

    { "country" : "china", "province" : "sh", "userid" : "a" } { "country" : "china", "province" : "sh", "userid" : "b" } { "country" : "china", "province" : "sh", "userid" : "a" } { "country" : "china", "province" : "sh", "userid" : "c" } { "country" : "china", "province" : "bj", "userid" : "da" } { "country" : "china", "province" : "bj", "userid" : "fa" }

    参考答案

    db.tv3.aggregate( {$group:{_id:{country:'$country',province:'$province',userid:'$userid'}}}, {$group:{_id:{country:'$_id.country',province:'$_id.province'},count:{$sum:1}}}

    4 管道命令之$match

    $match用于进行数据的过滤,是在能够在聚合操作中使用的命令,和find区别在于$match 操作可以把结果交给下一个管道处理,而find不行

    使用示例如下:

    查询年龄大于20的学生

    db.stu.aggregate( {$match:{age:{$gt:20}} )

    查询年龄大于20的男女学生的人数

    db.stu.aggregate( {$match:{age:{$gt:20}} {$group:{_id:"$gender",counter:{$sum:1}}} )

    5 管道命令之$project

    $project用于修改文档的输入输出结构,例如重命名,增加,删除字段

    使用示例如下:

    查询学生的年龄、姓名,仅输出年龄姓名

    db.stu.aggregate( {$project:{_id:0,name:1,age:1}} )

    查询男女生人生,输出人数

    db.stu.aggregate( {$group:{_id:"$gender",counter:{$sum:1}}} {$project:{_id:0,counter:1}} )

    动手练习

    对于如下数据:统计出每个country/province下的userid的数量(同一个userid只统计一次),结果中的字段为{country:"",province:"",counter:"*"}

    { "country" : "china", "province" : "sh", "userid" : "a" } { "country" : "china", "province" : "sh", "userid" : "b" } { "country" : "china", "province" : "sh", "userid" : "a" } { "country" : "china", "province" : "sh", "userid" : "c" } { "country" : "china", "province" : "bj", "userid" : "da" } { "country" : "china", "province" : "bj", "userid" : "fa" }

    参考答案

    db.tv3.aggregate( {$group:{_id:{country:'$country',province:'$province',userid:'$userid'}}}, {$group:{_id:{country:'$_id.country',province:'$_id.province'},count:{$sum:1}}}, {$project:{_id:0,country:'$_id.country',province:'$_id.province',counter:'$count'}} )

    6 管道命令之$sort

    $sort用于将输入的文档排序后输出

    使用示例如下:

    查询学生信息,按照年龄升序

    db.stu.aggregate({$sort:{age:1}})

    查询男女人数,按照人数降序

    db.stu.aggregate( {$group:{_id:"$gender",counter:{$sum:1}}}, {$sort:{counter:-1}} )

    7 管道命令之$skip 和 $limit

    $limit限制返回数据的条数$skip 跳过指定的文档数,并返回剩下的文档数同时使用时先使用skip在使用limit

    使用示例如下:

    查询2条学生信息

    db.stu.aggregate( {$limit:2} )

    查询从第三条开始的学生信息

    db.stu.aggregate( {$skip:3} )

    统计男女生人数,按照人数升序,返回第二条数据

    db.stu.aggregate( {$group:{_id:"$gender",counter:{$sum:1}}}, {$sort:{counter:-1}}, {$skip:1}, {$limit:1} )

    小结

    理解聚合操作的是在干什么掌握$group,$match,$project的使用熟悉$sort,$limit,$skip的使用实现常用的表达式

     

    Mongodb的索引

    学习目标

    掌握 mongodb索引的创建,删除操作掌握 mongodb查看索引的方法掌握 mongodb创建联合索引的方法掌握 mongodb创建唯一索引的方法

    1 为什么mongdb需要创建索引

    加快查询速度进行数据的去重

    2 mongodb创建简单的索引方法

    语法:

    db.集合.ensureIndex({属性:1}),1表示升序, -1表示降序db.集合.createIndex({属性:1})上面两个命令效果等价

    具体操作:db.db_name.ensureIndex({name:1})

    3 创建索引前后查询速度对比

    测试:插入10万条数据到数据库中 插入数据:

    for(i=0;i<100000;i++){db.t255.insert({name:'test'+i,age:i})}

    创建索引前:

    db.t1.find({name:'test10000'}) db.t1.find({name:'test10000'}).explain('executionStats')

    创建索引后:

    db.t255.ensureIndex({name:1}) db.t1.find({name:'test10000'}).explain('executionStats')

    前后速度对比

    4 索引的查看

    默认情况下_id是集合的索引

    查看方式:db.collection_name.getIndexes()

    添加索引前:

    > db.test2000.insert({"name":"hello",age:20}) WriteResult({ "nInserted" : 1 }) > db.test2000.find() { "_id" : ObjectId("5ae0232f625b9ddd91a0e7ae"), "name" : "hello", "age" : 20 } > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" } ]

    添加name为索引后:

    > db.test2000.ensureIndex({name:1}) { "createdCollectionAutomatically" : false, "numIndexesBefore" : 1, "numIndexesAfter" : 2, "ok" : 1 } > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" }, { "v" : 2, "key" : { "name" : 1 }, "name" : "name_1", "ns" : "test2000.test2000" } ]

    5 mongodb创建唯一索引

    在默认情况下mongdb的索引域的值是可以相同的,创建唯一索引之后,数据库会在插入数据的时候检查创建索引域的值是否存在,如果存在则不会插入该条数据,但是创建索引仅仅能够提高查询速度,同时降低数据库的插入速度。

    添加唯一索引的语法:

    db.collection_name.ensureIndex({"name":1},{"unique":true})

    使用普通索引的效果如下:

    > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" }, { "v" : 2, "key" : { "name" : 1 }, "name" : "name_1", "ns" : "test2000.test2000" } ] > db.test2000.insert({name:"hello",age:40}) WriteResult({ "nInserted" : 1 }) > db.test2000.find() { "_id" : ObjectId("5ae0232f625b9ddd91a0e7ae"), "name" : "hello", "age" : 20 } { "_id" : ObjectId("5ae02421625b9ddd91a0e7af"), "name" : "hello", "age" : 30 } { "_id" : ObjectId("5ae02432625b9ddd91a0e7b0"), "name" : "hello", "age" : 40 }

    添加age为唯一索引之后:

    > db.test2000.createIndex({age:1},{unique:true}) { "createdCollectionAutomatically" : false, "numIndexesBefore" : 2, "numIndexesAfter" : 3, "ok" : 1 } > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" }, { "v" : 2, "key" : { "name" : 1 }, "name" : "name_1", "ns" : "test2000.test2000" }, { "v" : 2, "unique" : true, "key" : { "age" : 1 }, "name" : "age_1", "ns" : "test2000.test2000" } ] > db.test2000.insert({"name":"world",age:20}) WriteResult({ "nInserted" : 0, "writeError" : { "code" : 11000, "errmsg" : "E11000 duplicate key error collection: test2000.test2000 index: age_1 dup key: { : 20.0 }" } })

    6 删除索引

    语法:db.t1.dropIndex({'索引名称':1})

    > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" }, { "v" : 2, "key" : { "name" : 1 }, "name" : "name_1", "ns" : "test2000.test2000" }, { "v" : 2, "unique" : true, "key" : { "age" : 1 }, "name" : "age_1", "ns" : "test2000.test2000" } ] > db.test2000.dropIndex({age:1}) { "nIndexesWas" : 3, "ok" : 1 } > db.test2000.dropIndex({name:1}) { "nIndexesWas" : 2, "ok" : 1 } > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" } ]

    7 建立复合索引

    在进行数据去重的时候,可能用一个域来保证数据的唯一性,这个时候可以考虑建立复合索引来实现。

    例如:抓全贴吧信息,如果把帖子的名字作为唯一索引对数据进行去重是不可取的,因为可能有很多帖子名字相同

    建立复合索引的语法:db.collection_name.ensureIndex({字段1:1,字段2:1})

    > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" } ] > db.test2000.createIndex({name:1,age:1}) { "createdCollectionAutomatically" : false, "numIndexesBefore" : 1, "numIndexesAfter" : 2, "ok" : 1 } > db.test2000.getIndexes() [ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_", "ns" : "test2000.test2000" }, { "v" : 2, "key" : { "name" : 1, "age" : 1 }, "name" : "name_1_age_1", "ns" : "test2000.test2000" } ]

    建立索引注意点

    根据需要选择是否需要建立唯一索引索引字段是升序还是降序在单个索引的情况下不影响查询效率,但是带复合索引的条件下会有影响

    数据量巨大并且数据库的读出操作非常频繁的时候才需要创建索引,如果写入操作非常频繁,创建索引会影响写入速度

    例如:在进行查询的时候如果字段1需要升序的方式排序输出,字段2需要降序的方式排序输出,那么此时复合索引的建立需要把字段1设置为1,字段2设置为-1

    8 动手

    完成上述操作后完成以下问题:

    2.1.获取每条数据中的title,count(所有评分人数),rate(评分),country(国家)的这些字段

    2.2.获取上述结果中的不同国家电视剧的数据量

    2.3.获取上述结果中分数大于8分的不同国家电视剧的数据量


    小结

    掌握mongodb索引的创建,删除操作掌握mongodb查看索引的方法掌握mongodb创建联合索引的方法掌握mongodb创建唯一索引的方法

     

    Mongodb的备份恢复与导出导入

    学习目标

    熟悉 mongodb备份与恢复命令熟悉 mongodb导入与导出命令

    1 备份

    保证数据库安全,主要用于灾难处理

    备份的语法:mongodump -h dbhost -d dbname -o dbdirectory

    -h: 服务器地址, 也可以指定端⼝号-d: 需要备份的数据库名称-o: 备份的数据存放位置, 此⽬录中存放着备份出来的数据

    示例:mongodump -h 192.168.196.128:27017 -d test1 -o ~/Desktop/test1bak

    2 恢复

    恢复语法:mongorestore -h dbhost -d dbname --dir dbdirectory

    -h: 服务器地址-d: 需要恢复的数据库实例--dir: 备份数据所在位置

    示例:mongorestore -h 192.168.196.128:27017 -d test2 --dir ~/Desktop/test1bak/test1

    3 导出

    用于和其他平台进行交互对接,将数据导出成指定格式文件进行使用,比如数据分析常用的csv文件 用于给非计算机行业的用户查看数据,对于他们来说csv文件(打开之后是电子表格)更方便

    导出语法: mongoexport -h dbhost -d dbname -c colname -o filename --type json/csv -f field

    -h: 服务器地址-d: 数据库名-c: 集合名-o: 导出文件名--type: 文件类型,默认json格式,可选数据类型json,csv-f: 需要导出的字段,导出为json格式的数据时可以不指定导出哪些字段,默认全部,导出成csv文件是必须指定

    示例:mongoexport -h 192.168.196.128:27017 -d test2 -c col1 -o test1_col1 [--type csv -f name,age,number]

    4 导入

    导出语法: mongoimport -d dbname -c colname --file filename [--headerline --type json/csv -f field]

    -h: 服务器地址-d: 数据库名-c: 集合名-o: 导出文件名--type: 文件类型,默认json格式,可选数据类型json,csv-f: 需要导出的字段,导出为json格式的数据时可以不指定导出哪些字段,默认全部,导出成csv文件是必须指定

    示例:mongoexport -h 192.168.196.128:27017 -d test2 -c col1 -o test1_col1 --type csv -f name,age,number

    5 动手

    尝试将同桌电脑中的xxx.xx中的数据恢复到自己的电脑中,具体如何操作?


    小结

    掌握mongodb中数据的备份与恢复的方法掌握mongodb中数据的导出与导入的方法

     

    mongodb和python交互

    学习目标

    掌握 mongdb和python交互的增删改查的方法


    1 mongdb和python交互的模块

    pymongo 提供了mongdb和python交互的所有方法 安装方式: pip install pymongo

    2 使用pymongo

    2.1 导入pymongo并选择要操作的集合

    数据库和集合会自动创建

    from pymongo import MongoClient client = MongoClient(host,port) collection = client[db名][集合名]

    2.2 添加数据

    insert可以批量的插入数据列表,也可以插入一条数据

    collection.insert([{"name":"test10010","age":33},{"name":"test10011","age":34}]/{"name":"test10010","age":33})

    2.3 添加一条数据

    ret = collection.insert_one({"name":"test10010","age":33}) print(ret)

    2.4 添加多条数据

    item_list = [{"name":"test1000{}".format(i)} for i in range(10)] #insert_many接收一个列表,列表中为所有需要插入的字典 t = collection.insert_many(item_list)

    2.5 查找一条数据

    #find_one查找并且返回一个结果,接收一个字典形式的条件 t = collection.find_one({"name":"test10005"}) print(t)

    2.6 查找全部数据

    结果是一个Cursor游标对象,是一个可迭代对象,可以类似读文件的指针,但是只能够进行一次读取

    #find返回所有满足条件的结果,如果条件为空,则返回数据库的所有 t = collection.find({"name":"test10005"}) #结果是一个Cursor游标对象,是一个可迭代对象,可以类似读文件的指针, for i in t: print(i) for i in t: #此时t中没有内容 print(i)

    2.7 更新一条数据(全文档覆盖更新一条或多条)

    #update_one更新一条数据 collection.update({"name":"test10005"},{"name":"new_test10005"},multi=True/False)

    2.8 更新一条数据(指定键值更新一条或多条)

    注意使用$set命令

    #update_one更新一条数据 collection.update({"name":"test10005"},{"$set":{"name":"new_test10005"}},multi=True/False)

    2.9 更新一条数据

    注意使用$set命令

    #update_one更新一条数据 collection.update_one({"name":"test10005"},{"$set":{"name":"new_test10005"}})

    2.10 更行全部数据

    # update_one更新全部数据 collection.update_many({"name":"test10005"},{"$set":{"name":"new_test10005"}})

    2.11 插入更新数据

    #update_one更新一条数据 collection.update({"name":"test10005"},{"$set":{"name":"new_test10005"}},upsert=True)

    先查询数据库中是否含有{"name":"test10005"}的数据,如果存在则{"name":"new_test10005"}进行修改,如果不存在则将{"name":"new_test10005"}插入到数据库

    2.12 删除一条数据

    #delete_one删除一条数据 collection.delete_one({"name":"test10010"})

    2.13 删除全部数据

    #delete_may删除所有满足条件的数据 collection.delete_many({"name":"test10010"})

    pymongo模块使用截图(动手写一下!)

    3 动手练习

    参考代码

    from pymongo import MongoClient client = MongoClient() # 本机,参数可以不用写 collection = client['test1000']['t3'] temp_list = [{'_id':i, 'name':'py{}'.format(i)} for i in range(1000)] ret = collection.insert_many(temp_list) print(ret) ret_list = list(collection.find()) ret = [i['name'] for i in ret_list if i['_id']0 == 0 and i['_id'] != 0] print(ret)

    小结

    掌握pymongo的增删改查的使用

     

    最新回复(0)