Redis开发与运维. 2.7 键管理

    xiaoxiao2024-04-21  8

    2.7 键管理

    本节将按照单个键、遍历键、数据库管理三个维度对一些通用命令进行介绍。

    2.7.1 单个键管理

    针对单个键的命令,前面几节已经介绍过一部分了,例如type、del、object、exists、expire等,下面将介绍剩余的几个重要命令。

    1.?键重命名

    rename key newkey

    例如现有一个键值对,键为python,值为jedis:

    127.0.0.1:6379> get python

    "jedis"

    下面操作将键python重命名为java:

    127.0.0.1:6379> set python jedis

    OK

    127.0.0.1:6379> rename python java

    OK

    127.0.0.1:6379> get python

    (nil)

    127.0.0.1:6379> get java

    "jedis"

    如果在rename之前,键java已经存在,那么它的值也将被覆盖,如下所示:

    127.0.0.1:6379> set a b

    OK

    127.0.0.1:6379> set c d

    OK

    127.0.0.1:6379> rename a c

    OK

    127.0.0.1:6379> get a

    (nil)

    127.0.0.1:6379> get c

    "b"

    为了防止被强行rename,Redis提供了renamenx命令,确保只有newKey不存在时候才被覆盖,例如下面操作renamenx时,newkey=python已经存在,返回结果是0代表没有完成重命名,所以键java和python的值没变:

    127.0.0.1:6379> set java jedis

    OK

    127.0.0.1:6379> set python redis-py

    OK

    127.0.0.1:6379> renamenx java python

    (integer) 0

    127.0.0.1:6379> get java

    "jedis"

    127.0.0.1:6379> get python

    "redis-py"

    在使用重命名命令时,有两点需要注意:

    由于重命名键期间会执行del命令删除旧的键,如果键对应的值比较大,会存在阻塞Redis的可能性,这点不要忽视。

    如果rename和renamenx中的key和newkey如果是相同的,在Redis 3.2和之前版本返回结果略有不同。

    Redis 3.2中会返回OK:

    127.0.0.1:6379> rename key key

    OK

    Redis 3.2之前的版本会提示错误:

    127.0.0.1:6379> rename key key

    (error) ERR source and destination objects are the same

    2.?随机返回一个键

    randomkey

    下面示例中,当前数据库有1000个键值对,randomkey命令会随机从中挑选一个键:

    127.0.0.1:6379> dbsize

    1000

    127.0.0.1:6379> randomkey

    "hello"

    127.0.0.1:6379> randomkey

    "jedis"

    3.?键过期

    2.1节简单介绍键过期功能,它可以自动将带有过期时间的键删除,在许多应用场景都非常有帮助。除了expire、ttl命令以外,Redis还提供了expireat、pexpire、pexpireat、pttl、persist等一系列命令,下面分别进行说明:

    expire key seconds:键在seconds秒后过期。

    expireat key timestamp:键在秒级时间戳timestamp后过期。

    下面为键hello设置了10秒的过期时间,然后通过ttl观察它的过期剩余时间(单位:秒),随着时间的推移,ttl逐渐变小,最终变为-2:

    127.0.0.1:6379> set hello world

    OK

    127.0.0.1:6379> expire hello 10

    (integer) 1

    #还剩7秒

    127.0.0.1:6379> ttl hello

    (integer) 7

    ...

    #还剩0秒

    127.0.0.1:6379> ttl hello

    (integer) 0

    #返回结果为-2,说明键hello已经被删除

    127.0.0.1:6379> ttl hello

    (integer) -2

    ttl命令和pttl都可以查询键的剩余过期时间,但是pttl精度更高可以达到毫秒级别,有3种返回值:

    大于等于0的整数:键剩余的过期时间(ttl是秒,pttl是毫秒)。

    -1:键没有设置过期时间。

    -2:键不存在。

    expireat命令可以设置键的秒级过期时间戳,例如如果需要将键hello在2016-08-01 00:00:00(秒级时间戳为1469980800)过期,可以执行如下操作:

    127.0.0.1:6379> expireat hello 1469980800

    (integer) 1

    除此之外,Redis 2.6版本后提供了毫秒级的过期方案:

    pexpire key milliseconds:键在milliseconds毫秒后过期。

    pexpireat key milliseconds-timestamp 键在毫秒级时间戳timestamp后过期。

    但无论是使用过期时间还是时间戳,秒级还是毫秒级,在Redis内部最终使用的都是pexpireat。

    在使用Redis相关过期命令时,需要注意以下几点。

    1)如果expire key的键不存在,返回结果为0:

    127.0.0.1:6379> expire not_exist_key 30

    (integer) 0

    2)如果过期时间为负值,键会立即被删除,犹如使用del命令一样:

    127.0.0.1:6379> set hello world

    OK

    127.0.0.1:6379> expire hello -2

    (integer) 1

    127.0.0.1:6379> get hello

    (nil)

    3)persist命令可以将键的过期时间清除:

    127.0.0.1:6379> hset key f1 v1

    (integer) 1

    127.0.0.1:6379> expire key 50

    (integer) 1

    127.0.0.1:6379> ttl key

    (integer) 46

    127.0.0.1:6379> persist key

    (integer) 1

    127.0.0.1:6379> ttl key

    (integer) -1

    4)对于字符串类型键,执行set命令会去掉过期时间,这个问题很容易在开发中被忽视。

    如下是Redis源码中,set命令的函数setKey,可以看到最后执行了removeExpire

    (db,key)函数去掉了过期时间:

    void setKey(redisDb *db, robj *key, robj *val) {

        if (lookupKeyWrite(db,key) == NULL) {

            dbAdd(db,key,val);

        } else {

            dbOverwrite(db,key,val);

        }

        incrRefCount(val);

        // 去掉过期时间

        removeExpire(db,key);

        signalModifiedKey(db,key);

    }

    下面的例子证实了set会导致过期时间失效,因为ttl变为-1:

    127.0.0.1:6379> expire hello 50

    (integer) 1

    127.0.0.1:6379> ttl hello

    (integer) 46

    127.0.0.1:6379> set hello world

    OK

    127.0.0.1:6379> ttl hello

    (integer) -1

    5)Redis不支持二级数据结构(例如哈希、列表)内部元素的过期功能,例如不能对列表类型的一个元素做过期时间设置。

    6)setex命令作为set + expire的组合,不但是原子执行,同时减少了一次网络通讯的时间。

    有关Redis键过期的详细原理,8.2节会深入剖析。

    4.?迁移键

    迁移键功能非常重要,因为有时候我们只想把部分数据由一个Redis迁移到另一个Redis(例如从生产环境迁移到测试环境),Redis发展历程中提供了move、dump + restore、migrate三组迁移键的方法,它们的实现方式以及使用的场景不太相同,下面分别介绍。

    (1)move

    move key db

    如图2-26所示,move命令用于在Redis内部进行数据迁移,Redis内部可以有多个数据库,由于多个数据库功能后面会进行介绍,这里只需要知道Redis内部可以有多个数据库,彼此在数据上是相互隔离的,move key db就是把指定的键从源数据库移动到目标数据库中,但笔者认为多数据库功能不建议在生产环境使用,所以这个命令读者知道即可。

    (2)dump + restore

    dump key

    restore key ttl value

    dump + restore可以实现在不同的Redis实例之间进行数据迁移的功能,整个迁移的过程分为两步:

    1)在源Redis上,dump命令会将键值序列化,格式采用的是RDB格式。

    2)在目标Redis上,restore命令将上面序列化的值进行复原,其中ttl参数代表过期时间,如果ttl=0代表没有过期时间。

    整个过程如图2-27所示。

    有关dump + restore有两点需要注意:第一,整个迁移过程并非原子性的,而是通过客户端分步完成的。第二,迁移过程是开启了两个客户端连接,所以dump的结果不是在源Redis和目标Redis之间进行传输,下面用一个例子演示完整过程。

    1)在源Redis上执行dump:

    redis-source> set hello world

    OK

    redis-source> dump hello

    "\x00\x05world\x06\x00\x8f<T\x04%\xfcNQ"

    2)在目标Redis上执行restore:

    redis-target> get hello

    (nil)

    redis-target> restore hello 0 "\x00\x05world\x06\x00\x8f<T\x04%\xfcNQ"

    OK

    redis-target> get hello

    "world"

    上面2步对应的伪代码如下:

    Redis sourceRedis = new Redis("sourceMachine", 6379);

    Redis targetRedis = new Redis("targetMachine", 6379);

    targetRedis.restore("hello", 0, sourceRedis.dump(key));

    (3)migrate

    migrate host port key|"" destination-db timeout [copy] [replace] [keys key [key ...]]

    migrate命令也是用于在Redis实例间进行数据迁移的,实际上migrate命令就是将dump、restore、del三个命令进行组合,从而简化了操作流程。migrate命令具有原子性,而且从Redis 3.0.6版本以后已经支持迁移多个键的功能,有效地提高了迁移效率,migrate在10.4节水平扩容中起到重要作用。

    整个过程如图2-28所示,实现过程和dump + restore基本类似,但是有3点不太相同:第一,整个过程是原子执行的,不需要在多个Redis实例上开启客户端的,只需要在源Redis上执行migrate命令即可。第二,migrate命令的数据传输直接在源Redis和目标Redis上完成的。第三,目标Redis完成restore后会发送OK给源Redis,源Redis接收后会根据migrate对应的选项来决定是否在源Redis上删除对应的键。

    下面对migrate的参数进行逐个说明:

    host:目标Redis的IP地址。

    port:目标Redis的端口。

    key|"":在Redis 3.0.6版本之前,migrate只支持迁移一个键,所以此处是要迁移的键,但Redis 3.0.6版本之后支持迁移多个键,如果当前需要迁移多个键,此处为空字符串""。

    destination-db:目标Redis的数据库索引,例如要迁移到0号数据库,这里就写0。

    timeout:迁移的超时时间(单位为毫秒)。

    [copy]:如果添加此选项,迁移后并不删除源键。

    [replace]:如果添加此选项,migrate不管目标Redis是否存在该键都会正常迁移进行数据覆盖。

    [keys key [key ...]]:迁移多个键,例如要迁移key1、key2、key3,此处填写“keys key1 key2 key3”。

    下面用示例演示migrate命令,为了方便演示源Redis使用6379端口,目标Redis使用6380端口,现要将源Redis的键hello迁移到目标Redis中,会分为如下几种情况:

    情况1:源Redis有键hello,目标Redis没有:

    127.0.0.1:6379> migrate 127.0.0.1 6380 hello 0 1000

    OK

    情况2:源Redis和目标Redis都有键hello:

    127.0.0.1:6379> get hello

    "world"

    127.0.0.1:6380> get hello

    "redis"

    如果migrate命令没有加replace选项会收到错误提示,如果加了replace会返回OK表明迁移成功:

    127.0.0.1:6379> migrate 127.0.0.1 6379 hello 0 1000

    (error) ERR Target instance replied with error: BUSYKEY Target key name already exists.

    127.0.0.1:6379> migrate 127.0.0.1 6379 hello 0 1000 replace

    OK

    情况3:源Redis没有键hello。如下所示,此种情况会收到nokey的提示:

    127.0.0.1:6379> migrate 127.0.0.1 6380 hello 0 1000

    NOKEY

    下面演示一下Redis 3.0.6版本以后迁移多个键的功能。

    源Redis批量添加多个键:

    127.0.0.1:6379> mset key1 value1 key2 value2 key3 value3

    OK

    源Redis执行如下命令完成多个键的迁移:

    127.0.0.1:6379> migrate 127.0.0.1 6380 "" 0 5000 keys key1 key2 key3

    OK

    至此有关Redis数据迁移的命令介绍完了,最后使用表2-9总结一下move、dump + restore、migrate三种迁移方式的异同点,笔者建议使用migrate命令进行键值迁移。

    表2-9 move、dump + restore、migrate三个命令比较

    命  令         作用域     原子性     支持多个键

    move        Redis实例内部       是     否

    dump + restore        Redis实例之间       否     否

    migrate    Redis实例之间       是     是

     

    2.7.2 遍历键

    Redis提供了两个命令遍历所有的键,分别是keys和scan,本节将对它们介绍并简要分析。

    1.全量遍历键

    keys pattern

    本章开头介绍keys命令的简单使用,实际上keys命令是支持pattern匹配的,例如向一个空的Redis插入4个字符串类型的键值对。

    127.0.0.1:6379> dbsize

    (integer) 0

    127.0.0.1:6379> mset hello world redis best jedis best hill high

    OK

    如果要获取所有的键,可以使用keys pattern命令:

    127.0.0.1:6379> keys *

    1) "hill"

    2) "jedis"

    3) "redis"

    4) "hello"

    上面为了遍历所有的键,pattern直接使用星号,这是因为pattern使用的是glob风格的通配符:

    *代表匹配任意字符。

    ?代表匹配一个字符。

    []代表匹配部分字符,例如[1,3]代表匹配1,3,[1-10]代表匹配1到10的任意数字。

    \x用来做转义,例如要匹配星号、问号需要进行转义。

    下面操作匹配以j,r开头,紧跟edis字符串的所有键:

    127.0.0.1:6379> keys [j,r]edis

    1) "jedis"

    2) "redis"

    例如下面操作会匹配到hello和hill这两个键:

    127.0.0.1:6379> keys h?ll*

    1) "hill"

    2) "hello"

    当需要遍历所有键时(例如检测过期或闲置时间、寻找大对象等),keys是一个很有帮助的命令,例如想删除所有以video字符串开头的键,可以执行如下操作:

    redis-cli keys video* | xargs redis-cli del

    但是如果考虑到Redis的单线程架构就不那么美妙了,如果Redis包含了大量的键,执行keys命令很可能会造成Redis阻塞,所以一般建议不要在生产环境下使用keys命令。但有时候确实有遍历键的需求该怎么办,可以在以下三种情况使用:

    在一个不对外提供服务的Redis从节点上执行,这样不会阻塞到客户端的请求,但是会影响到主从复制,有关主从复制我们将在第6章进行详细介绍。

    如果确认键值总数确实比较少,可以执行该命令。

    使用下面要介绍的scan命令渐进式的遍历所有键,可以有效防止阻塞。

    2.?渐进式遍历

    Redis从2.8版本后,提供了一个新的命令scan,它能有效的解决keys命令存在的问题。和keys命令执行时会遍历所有键不同,scan采用渐进式遍历的方式来解决keys命令可能带来的阻塞问题,每次scan命令的时间复杂度是O(1),但是要真正实现keys的功能,需要执行多次scan。Redis存储键值对实际使用的是hashtable的数据结构,其简化模型如图2-29所示。

    那么每次执行scan,可以想象成只扫描一个字典中的一部分键,直到将字典中的所有键遍历完毕。scan的使用方法如下:

    scan cursor [match pattern] [count number]

    cursor是必需参数,实际上cursor是一个游标,第一次遍历从0开始,每次scan遍历完都会返回当前游标的值,直到游标值为0,表示遍历结束。

    match pattern是可选参数,它的作用的是做模式的匹配,这点和keys的模式匹配很像。

    count number是可选参数,它的作用是表明每次要遍历的键个数,默认值是10,此参数可以适当增大。

    现有一个Redis有26个键(英文26个字母),现在要遍历所有的键,使用scan命令效果的操作如下。第一次执行scan 0,返回结果分为两个部分:第一个部分6就是下次scan需要的cursor,第二个部分是10个键:

    127.0.0.1:6379> scan 0

    1) "6"

    2)  1) "w"

        2) "i"

        3) "e"

        4) "x"

        5) "j"

        6) "q"

        7) "y"

        8) "u"

        9) "b"

       10) "o"

    使用新的cursor="6",执行scan 6:

    127.0.0.1:6379> scan 6

    1) "11"

    2)  1) "h"

        2) "n"

        3) "m"

        4) "t"

        5) "c"

        6) "d"

        7) "g"

        8) "p"

        9) "z"

       10) "a"

    这次得到的cursor="11",继续执行scan 11得到结果cursor变为0,说明所有的键已经被遍历过了:

    127.0.0.1:6379> scan 11

    1) "0"

    2)  1) "s"

        2) "f"

        3) "r"

        4) "v"

        5) "k"

        6) "l"

    除了scan以外,Redis提供了面向哈希类型、集合类型、有序集合的扫描遍历命令,解决诸如hgetall、smembers、zrange可能产生的阻塞问题,对应的命令分别是hscan、sscan、zscan,它们的用法和scan基本类似,下面以sscan为例子进行说明,当前集合有两种类型的元素,例如分别以old:user和new:user开头,先需要将old:user开头的元素全部删除,可以参考如下伪代码:

    String key = "myset";

    // 定义pattern

    String pattern = "old:user*";

    // 游标每次从0开始

    String cursor = "0";

    while (true) {

        // 获取扫描结果

        ScanResult scanResult = redis.sscan(key, cursor, pattern);

        List elements = scanResult.getResult();

        if (elements != null && elements.size() > 0) {

            // 批量删除

            redis.srem(key, elements);

        }

        // 获取新的游标

        cursor = scanResult.getStringCursor();

        // 如果游标为0表示遍历结束

        if ("0".equals(cursor)) {

            break;

        }

    }

    渐进式遍历可以有效的解决keys命令可能产生的阻塞问题,但是scan并非完美无瑕,如果在scan的过程中如果有键的变化(增加、删除、修改),那么遍历效果可能会碰到如下问题:新增的键可能没有遍历到,遍历出了重复的键等情况,也就是说scan并不能保证完整的遍历出来所有的键,这些是我们在开发时需要考虑的。

    2.7.3 数据库管理

    Redis提供了几个面向Redis数据库的操作,它们分别是dbsize、select、flushdb/flushall命令,本节将通过具体的使用场景介绍这些命令。

    1.?切换数据库

    select dbIndex

    许多关系型数据库,例如MySQL支持在一个实例下有多个数据库存在的,但是与关系型数据库用字符来区分不同数据库名不同,Redis只是用数字作为多个数据库的实现。Redis默认配置中是有16个数据库:

    databases 16

    假设databases=16,select 0操作将切换到第一个数据库,select 15选择最后一个数据库,但是0号数据库和15号数据库之间的数据没有任何关联,甚至可以存在相同的键:

    127.0.0.1:6379> set hello world      #默认进到0号数据库

    OK

    127.0.0.1:6379> get hello

    "world"

    127.0.0.1:6379> select 15                #切换到15号数据库

    OK

    127.0.0.1:6379[15]> get hello          #因为15号数据库和0号数据库是隔离的,所以get hello为空

    (nil)

    图2-30更加生动地表现出上述操作过程。同时可以看到,当使用redis-cli -h {ip} -p {port}连接Redis时,默认使用的就是0号数据库,当选择其他数据库时,会有[index]的前缀标识,其中index就是数据库的索引下标。

     

    图2-30 使用select命令切换数据库

    那么能不能像使用测试数据库和正式数据库一样,把正式的数据放在0号数据库,测试的数据库放在1号数据库,那么两者在数据上就不会彼此受影响了。事实真有那么好吗

    Redis3.0中已经逐渐弱化这个功能,例如Redis的分布式实现Redis Cluster只允许使用0号数据库,只不过为了向下兼容老版本的数据库功能,该功能没有完全废弃掉,下面分析一下为什么要废弃掉这个“优秀”的功能呢 总结起来有三点:

    Redis是单线程的。如果使用多个数据库,那么这些数据库仍然是使用一个CPU,彼此之间还是会受到影响的。

    多数据库的使用方式,会让调试和运维不同业务的数据库变的困难,假如有一个慢查询存在,依然会影响其他数据库,这样会使得别的业务方定位问题非常的困难。

    部分Redis的客户端根本就不支持这种方式。即使支持,在开发的时候来回切换数字形式的数据库,很容易弄乱。

    笔者建议如果要使用多个数据库功能,完全可以在一台机器上部署多个Redis实例,彼此用端口来做区分,因为现代计算机或者服务器通常是有多个CPU的。这样既保证了业务之间不会受到影响,又合理地使用了CPU资源。

    2.?flushdb/flushall

    flushdb/flushall命令用于清除数据库,两者的区别的是flushdb只清除当前数据库,flushall会清除所有数据库。

    例如当前0号数据库有四个键值对、1号数据库有三个键值对:

    127.0.0.1:6379> dbsize

    (integer) 4

    127.0.0.1:6379> select 1

    OK

    127.0.0.1:6379[1]> dbsize

    (integer) 3

    如果在0号数据库执行flushdb,1号数据库的数据依然还在:

    127.0.0.1:6379> flushdb

    OK

    127.0.0.1:6379> dbsize

    (integer) 0

    127.0.0.1:6379> select 1

    OK

    127.0.0.1:6379[1]> dbsize

    (integer) 3

    在任意数据库执行flushall会将所有数据库清除:

    127.0.0.1:6379> flushall

    OK

    127.0.0.1:6379> dbsize

    (integer) 0

    127.0.0.1:6379> select 1

    OK

    127.0.0.1:6379[1]> dbsize

    (integer) 0

    flushdb/flushall命令可以非常方便的清理数据,但是也带来两个问题:

    flushdb/flushall命令会将所有数据清除,一旦误操作后果不堪设想,第12章会介绍rename-command配置规避这个问题,以及如何在误操作后快速恢复数据。

    如果当前数据库键值数量比较多,flushdb/flushall存在阻塞Redis的可能性。

    所以在使用flushdb/flushall一定要小心谨慎。

    最新回复(0)