概述

参考：python 模块Redis模块，连接Redis数据库

Python 中的 Redis 客户端库允许开发者与 Redis 数据库进行交互。这些库允许在 Python 中连接到 Redis、执行命令以读取或写入数据，并处理 Redis 数据。

以下是一些常见的 Python Redis 客户端库：

  • redis 库：是 Python 中最常用的 Redis 客户端库之一。它提供了与 Redis 数据库的高度集成，支持 Python 2.x 和 3.x 版本。它具有易于使用的 API，可以轻松地执行 Redis 命令，例如设置值、获取值、处理列表、集合、有序集合等。

    注：python 的 redis 库支持直连和哨兵模式，但并不支持集群模式，推荐库：redis-py-cluster

    安装命令：pip install redis

  • redis-py-cluster 库：是 Python 中的一个用于连接和操作 Redis 集群的客户端库，允许以编程方式连接到 Redis 集群，并执行各种操作，而无需手动管理分片和节点。

    Redis 集群是 Redis 数据库的一种分布式部署方式，通过将数据分片存储在不同的 Redis 实例上来提供高可用性和横向扩展性。

    主要特点和功能：

    • 自动节点发现：允许指定一个或多个节点的初始连接地址，然后会自动发现集群中的其他节点，不需要手动配置每个节点的连接信息。
    • 自动分片：可以自动将操作路由到正确的节点和分片，不需要手动计算分片和维护节点列表。
    • 高可用性：支持 Redis 集群的故障转移和自动重新连接，确保在节点故障或网络问题后的连续可用性。
    • 支持常用 Redis 命令：可以使用执行常见的 Redis 命令，如 SET、GET、HGET、HSET、DEL、INCR、DECR 等。
    • 线程安全：是线程安全的，可以在多线程应用程序中使用。

    安装命令：pip install redis-py-cluster

连接 redis 数据库

单点 | 直连模式

  • 同步连接

    连接方法：

    redis.Redis(host='localhost', # ip地址port=6379, # 端口db=0, # 数据库，默认 0password=None, # 密码single_connection_client=False, # True时，不使用连接池connection_pool=None, # 连接池decode_responses=False, # 默认为False，若设置为True，则在获取数据时将字节解码为字符串(utf-8)socket_timeout=None, # 响应的时间socket_connect_timeout=None, # 建立连接超时时间retry_on_timeout=False, # True时, 命令超时后,将会重试一次, 重试成功则正常返回; 失败则抛出timeout异常；False时直接抛出异常retry_on_error=None, # 重试错误列表max_connections=None, # 最大连接数)

    示例：

    import redisconnect = redis.Redis(host='127.0.0.1', port=6379, decode_responses=True)connect.set('test','哈哈哈哈')print(connect.get('test'))

  • 异步连接

    redis.asyncio.Redis() ：异步连接 redis 数据库，参数同 redis.Redis()

    示例：

    import asyncioimport redis.asyncio as redisasync def run():async with redis.Redis(host='127.0.0.1',port=6379,decode_responses=True) as connect:await connect.set('test','我是异步')result = await connect.get('test')print(result)asyncio.run(run())

哨兵模式

  • 示例：

    from redis.sentinel import Sentinelsentinel_nodes = [('192.168.1.110', 16380), ('192.168.1.110', 16381), ('192.168.1.110', 16382)]sentinel = Sentinel(sentinel_nodes, sentinel_kwargs={'password': '123456'}, db=0, socket_timeout=0.5)master = sentinel.master_for('mymaster', password='123456')slave = sentinel.slave_for('mymaster', password='123456')print(master.llen('test'))

集群模式

  • 示例：

    from rediscluster import StrictRedisClusterredis_nodes = [{'host':'192.168.1.110','port':13790}, {'host':'192.168.1.110','port':13791}, {'host':'192.168.1.110','port':13793}, {'host':'192.168.1.120','port':13794}]redisconn = StrictRedisCluster(startup_nodes=redis_nodes, decode_responses=True, password='123456')redisconn.set("name", "helloworld")print("My name is: ", redisconn.get('name'))

redis.connect 常用方法

注：以下方法，异步需要使用 async await

字符串操作

设置值

  • set(name, value, ex=None, px=None, nx=False, xx=False) ：设置指定 key 的值
    • name ：键名
    • value ：键对应的值
    • ex ：可选，设置键的过期时间，单位是秒
    • px ：可选，设置键的过期时间，单位是毫秒
    • nx ：可选，默认为 False，如果设置为 True，只有当键不存在时才设置值
    • xx ：可选，默认为 False，如果设置为 True，只有当键已存在时才设置值
  • setnx(name, value) ：设置值，只有 name 不存在时，执行设置操作
  • setex(name, time, value)) ：设置值
    • time ：过期时间（秒）
  • psetex(name, time_ms, value) ：设置值
    • time_ms ：过期时间（毫秒）
  • mset({name1:value1, name2:value2, name3:value3, …}) ：批量设置值

获取值、删除值

  • get(name) ：获取指定 key 的值

    • name：键名

  • mget(name1, name2, name3, …) ：批量获取值

  • getrange(name, start, end) ：获取部分值

    • start ：开始 index
    • end ：结束 index，不包含结束 index 的字符

  • getset(name,value) ：设置新值，并获取旧值

  • *delete(names) ：删除一个或多个 key

    • names ：要删除的键名

其他

  • setrange(name, offset, value) ：从指定字符串索引 offset 开始，替换字符串
  • append(name, value) ：在原有字符基础上追加字符
  • strlen(name) ：返回 name 对应值的字节长度（一个汉字 3 个字节）
  • incr(name, amount=1) ：自增 name 对应的值，当 name 不存在时，则创建 name＝amount，否则，则自增
  • decr(name, amount=1) ：自减 name 对应的值，当 name 不存在时，则创建 name＝amount，否则，则自减
  • incrby(name, amount=1) ：在原有数值基础上加上一定的数值，当 name 不存在时，则创建 name＝amount
  • decrby(name, amount=1) ：在原有数值基础上减去一定的数值，当 name 不存在时，则创建 name＝amount
  • incrbyfloat(name, amount=1.0) ：自增 name 对应的值，当 name 不存在时，则创建 name＝amount，否则，则自增。
  • setbit(name, offset, value) ：对 name 对应值的二进制表示的位进行操作
  • getbit(name, offset) ：获取 name 对应的值的二进制表示中的某位的值 （0 或1 ）
  • bitcount(key, start=None, end=None) ：获取 name 对应的值的二进制表示中 1 的个数

列表操作

  • *lpush(name, values) ：将一个或多个值插入列表头部（左侧）
    • name ：列表名
    • values ：一个或多个值
  • *rpush(name, values) ：将一个或多个值插入列表尾部（右侧）
  • lpushx(name, value) ：向已有 name 的列表的左边添加元素，没有的话无法创建
  • rpushx(name, value) ：向已有 name 的列表的右边添加元素，没有的话无法创建
  • linsert(name, where, refvalue, value) ：在name对应的列表的某一个值前或后插入一个新值
    • where ：BEFORE或AFTER
    • refvalue ：标杆值，即：在它前后插入数据
    • value ：要插入的数据
  • lset(name, index, value) ：指定索引位置重新赋值
  • lrange(name, start, end) ：在 name 对应的列表中取出 start – end 索引之间的值，包含 end
  • llen(name) ：获取 name 列表中值的数量
  • lindex(index) ：取值（根据索引号取值）
  • lpop(name) ：移除并返回列表左侧的第一个元素
  • rpop(name) ：移除并返回列表右侧的第一个元素
  • *blpop(keys, timeout) ：将多个列表排列，按照从左到右去移除对应列表的元素
  • *brpop(keys, timeout) ：将多个列表排列，按照从右到左去移除各个列表内的元素
  • rpoplpush(src, dst, timeout ) ：从一个列表取出最右边的元素，同时将其添加至另一个列表的最左边
    • src ：要取数据的列表的 name
    • dst ：要添加数据的列表的 name
  • brpoplpush(src, dst, timeout=0) ：从一个列表的右侧移除一个元素并将其添加到另一个列表的左侧
    • timeout ：当src对应的列表中没有数据时，阻塞等待其有数据的超时时间（秒），0 表示永远阻塞
  • lrem(name, value, num) ：删除指定的 value，num 为负数时从后向前删除
  • ltrim(name, start, end) ：在 name 对应的列表中移除没有在 start – end 索引之间的值

哈希操作

  • hset(name, key, value) ：在哈希表中设置字段的值
    • name ：哈希表名
    • key ：字段名
    • value ：字段的值
  • hsetnx(name, key, value) ：设置值，只有 name 不存在时，执行设置操作
  • hmset(name, {key1:value1, key2:value2, key3:value3, …}) ：批量添加值
  • hget(name, key) ：获取哈希表中 key 字段的值
  • *hmget(name, keys) ：获取哈希表中一个或多个字段的值
  • hgetall(name) ：取出所有的值
  • hkeys(name) ：获取所有的 key
  • hvals(name) ：获取所有的 value
  • hlen(name) ：获取 hash 中键值对的个数
  • hstrlen(name, key) ：获取指定 key 值的长度
  • *hdel(name, keys) ：删除哈希表中一个或多个字段
  • hexists(name, key) ：判断 hash 中 key 是否存在
  • hincrby(name, key, amount=1) ：自增自减数（正数自增，负数自减）
  • hincrbyfloat(name, key, amount=1.0) ：自增自减浮点数（正浮点数自增，负浮点数自减）
  • hscan(name, cursor=0, match=None, count=None) ：取值查看–分片读取
    • cursor ：游标（基于游标分批取获取数据）
    • match ：匹配指定 key，默认 None，表示所有的 key
    • count ：每次分片最少获取个数，默认 None，表示采用 Redis 的默认分片个数
  • hscan_iter(name, match=None, count=None) ：利用 yield 封装 hscan 创建生成器，实现分批去 redis 中获取数据
    • match ：匹配指定 key，默认 None，表示所有的key
    • count ：每次分片最少获取个数，默认 None，表示采用 Redis 的默认分片个数

集合操作

  • sadd(name, values) ：向集合添加一个或多个元素
    • name ：集合名
    • values ：一个或多个元素
  • smembers(name) ：获取集合中的所有元素
  • scard(name) ：获取name集合中的个数
  • srandmember(namem,num) ：从集合随机取出 num 个元素
  • srem(name, values) ：从集合中删除一个或多个元素
  • spop(name) ：从集合移除一个成员，并将其返回，说明一下，集合是无序的，所有是随机删除的
  • smove(src, dst, value) ：将某个成员从一个集合中移动到另外一个集合
  • sismember(name, value) ：检查 value 是否是 name 对应的集合的成员，结果为 True 和 False
  • sdiff(keys) ：获取多个集合的差集
  • *sdiffstore(dest, keys) ：获取多个集合的差集，并存进一个新的集合
  • sinter(keys) ：获取多个集合的交集
  • *sinterstore(dest, keys) ：获取多个集合的差集，并存进一个新的集合
  • sunion(keys) ：获取多个集合的并集
  • *sunionstore(dest, keys) ：获取多个集合的并集，并存进一个新的集合

有序集合操作

  • zadd(name, mapping) ：向有序集合添加一个或多个成员

    • name ：有序集合名
    • mapping ：成员及其分数的字典

    其他可选参数：

    • nx ：强制 ZADD 只创建新元素而不更新已经存在的元素的分数。默认 False

    • xx ：强制 ZADD 只更新已经存在的元素的分数存在。不会添加新元素。默认 False

    • ch ：将返回值修改为已更改的元素数。更改的元素包括添加的新元素和元素谁的分数变了。默认 False

    • incr ：修改 ZADD 的行为像 ZINCRBY。默认 False

      在这种模式下，只有 a 可以指定单个元素/分数对，分数是数量现有的分数将增加到。

      使用此模式时 ZADD 的返回值将是元素的新分数。

    • lt ：仅在新分数小于时更新现有元素当前分数。这个标志不会阻止添加新元素。默认 False

    • gt ：仅在新分数大于时更新现有元素当前分数。这个标志不会阻止添加新元素。默认 False

  • zrange(name, start, end) ：按分数范围获取有序集合的成员

    • start ：分数的起始值
    • end ：分数的结束值

    其他可选参数：

    • desc ：排序规则，默认按照分数从小到大排序。默认 False
    • withscores ：是否获取元素的分数，默认只获取元素的值。默认 False
    • score_cast_func ：对分数进行数据转换的函数。默认 float

  • zrevrange(name, start, end) ：从大到小排序（同 zrange 默认排序，集合是从大到小排序的）

    其他可选参数：

    • withscores ：是否获取元素的分数，默认只获取元素的值 。默认 False
    • score_cast_func ：对分数进行数据转换的函数。默认 float

  • zrangebyscore(name, min, max) ：按照分数范围获取 name 对应的有序集合的元素

    • min ：最小值
    • max ：最大值

    其他可选参数：

    • start ：有序集合索引起始位置（非分数）。默认 None
    • num ：获取数量。默认 None
    • withscores ：是否获取元素的分数，默认只获取元素的值 。默认 False
    • score_cast_func ：对分数进行数据转换的函数。默认 float

  • zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float) ：按照分数范围获取有序集合的元素并排序（默认从大到小排序）

  • zscan(name, cursor=0, match=None, count=None, score_cast_func=float) ：获取所有元素

  • zscan_iter(name, match=None, count=None, score_cast_func=float) ：获取所有元素–迭代器

  • zcard(name) ：获取元素集合中的个数

  • *zrem(name, values) ：从有序集合中删除一个或多个成员

  • zremrangebyrank(name, min, max) ：根据索引范围删除

  • zremrangebyscore(name, min, max) ：根据分数范围删除

  • zcount(name, min, max) ：获取 name 对应的有序集合中分数在 [min,max] 之间的个数

  • zincrby(name, value, amount) ：自增自减数（正数自增，负数自减）

  • zrank(name, value) ：获取索引，按照分数顺序（从小到大）

  • zrevrank(name, value) ：获取索引，按照倒序（从大到小）

  • zscore(name, value) ：获取对应值的分数

键的相关通用操作

  • dbsize() ：返回服务器中的键数
  • keys(pattern) ：返回匹配 “pattern” 的键列表，不传返回全部
  • scan_iter(match, count) ：返回匹配 match 键迭代器，不传返回全部
  • move(name, db) ：将键 name 移动到另一个数据库 db
  • flushall(asynchronous=False) ：删除当前主机上所有数据库中的所有键，asynchronous 是否异步
  • flushdb(asynchronous=False) ：删除当前数据库中的所有键，asynchronous 是否异步
  • dump(name) ：返回存储在指定键处的值的序列化版本
  • type(name) ：返回键类型
  • rename(src, dst) ：重命名键 src 为 dst
  • renamex(src, dst) ：如果 dst 不存在，则将 src 重命名为 dst
  • exists(names) ：一个或多个由 “names” 指定的键是是否存在

过期时间

  • expire(name, time, nx=False, xx=False, gt=False, lt=False) ：为键 name 设置过期时间
    • time ：过期时间，单位：秒
    • nx ：仅当密钥没有过期时设置过期
    • xx ：仅当密钥已存在过期时才设置过期
    • gt ：仅当新过期时间大于当前过期时间时设置过期时间
    • lt ：仅在新到期时间小于当前到期时间时设置到期时间
  • expireat(name, when, nx=False, xx=False, gt=False, lt=False) ：为键 name 设置过期时间
    • when ：可以表示为整数表示 unix 时间或 Python datetime 对象
  • pexpire(name, time, nx=False, xx=False, gt=False,lt=False) ：为键 name 设置过期时间
    • time ：过期时间，单位：毫秒
  • ttl(name) ：返回键 name 到期前的秒数
  • pttl(name) ：返回键 name 到期前的毫秒数
  • persist(name) ：删除 name 的过期
  • time() ：获取 redis 服务端的当前时间。它返回一个包含两个元素的数组，其中第一个元素是当前时间的秒数（自 Unix 时间戳的起始点以来的秒数），第二个元素是当前时间的微秒数。

连接状态和数据持久化

  • close() ：关闭 Redis 连接
  • ping() ：判断服务器是否连接成功
  • select(index) ：切换数据库
  • save() ：持久化数据
  • bgsave() ：异步持久化数据
  • shutdonw(save=False, nosave=False, now=False, force=False, abort=False) ：如果 Redis 配置了持久化，数据将在关机前被刷新
    • save ：会强制执行 DB 保存操作
    • nosave ：将阻止数据库保存操作，即使有一个或多个保存点配置
    • now ：跳过等待滞后副本，即它绕过了第一步关机顺序
    • force ：忽略任何通常会阻止服务器退出的错误
    • abort ：取消正在进行的关机，不能与其他标志结合使用
  • lastsave() ：获取 Redis 数据库中最后一次成功执行持久化操作的时间戳（一个 Python datetime 对象），也就是最后一次生成 RDB 快照的时间。

连接池

  • redis.ConnectionPool(option)

    option参数大部分和 redis.Redis 一致

    连接池的原理是，通过预先创建多个连接，当进行 redis 操作时，直接获取已经创建的连接进行操作，而且操作完成后，不会释放，用于后续的其他 redis 操作，这样就达到了避免频繁的 redis 连接创建和释放的目的，从而提高性能。

    redis 模块采用 ConnectionPool 来管理对 redis server 的所有连接

    import redispool = redis.ConnectionPool(host='127.0.0.1', port=6379, decode_responses=True)connect = redis.Redis(connection_pool=pool)connect.set('name','数据库0')print(connect.get('name'))

  • redis.BlockingConnectionPool(option)

    option 参数大部分和 redis.Redis 一致

    BlockingConnectionPool 和 ConnectionPool 功能是一样的，但是是线程安全的，在多线程的环境下，建议用BlockingConnectionPool，比如 gunicorn 使用了多线程的 worker。同时，当所有连接都在使用时，获取可用连接不会抛异常，而是可以设置等待时间。