Background

Redis(Remote Dictionary Server)是一种基于键值对的内存数据库,通常被称为数据结构服务器。它支持多种数据结构,例如字符串(String)、哈希(Hash)、列表(List)、集合(Set)、有序集合(Sorted Set)等,并提供了丰富的命令接口,使得开发者可以方便地利用这些数据结构来实现各种复杂应用。

Redis具有高性能、高可靠性和高可扩展性等特点,它将所有的数据保留在内存中,并通过异步方式将数据写入磁盘,以保证数据的持久化。同时,Redis还支持数据复制、主从架构、哨兵模式等多种高可用解决方案,可以用于构建分布式系统。

由于Redis的优秀性能和易用性,它已经成为了一个非常流行的开源项目,被广泛应用于Web应用程序、缓存、消息队列、计数器等领域。

主要为了阅读redis源码做好大局观和理论上的铺垫

数据结构

redis支持的key或者value的数据的底层数据结构如下

key/value的映射采用一个全局hash表

但是因为hash冲突的存在,可能退化成链,所以我们要rehash,但是为了更低的延迟,我们要可以做一个优化:之前的rehash分为3步:1)分配一个hash table大小两倍的hash table, 2)把hash table1的数据转移到hash table2 3)释放hash table1的空间

优化后,因为主要是2)太耗时了,一个请求把延时都承担了,所以我们可以把这个转移分担到每一个请求操作上:

不同操作的复杂度

1.单点操作一般很快,通过hash找到value,然后对其底层数据结构操作即可

2.range sort对于hash table来说很慢,O(N), O(NlogN)。但是对于leveldb这种sorted key就比较友好了。

3.统计操作就是操作元数据

4.最后就是查询末尾啥的。。。

线程模型

都说redis是单线程模型,但这个单线程是指处理get, put,这些操作是单线程,还有很多别的线程IO,background线程。

为啥单线程还是快

1)因为多线程对同一资源的竞争的协调是有代价的,比如cpu cache失效啥的,多线程实际上是这样的

2)IO处理上用了多路复用和非阻塞操作

但是还是存在性能瓶颈

持久化

AOF日志

注意redis是先内存,后日志,不是WAL,因为redis主要是做缓存用的,不是真的数据库,如果丧失真的数据库的话,这样做可能会导致数据丢失。好处是当前操作不阻塞,但是可能会稍微导致下一个操作阻塞

append only file

关于持久化到磁盘的时机有三个可选择的

1)always,修改就写入

2)everysecond,每秒批处理

3)NO 防止内存中,有操作系统决定

但是日志不能无限增加,所以我们要重写,重写就是根据当前内存中有的元素做一个put操作记录,这样就大大减少了日志的大小

AOF重写过程————–一个拷贝,两处日志

AOF还是有阻塞风险的

AOF重写用两个日志是因为防止污染主日志和减少并发竞争。

内存快照

因为我们在日志里面记录的是操作,如果我们运行了一天挂了,那么我们也要跑上一天来恢复,同理一年也是

内存快照———–1)对哪些做快照2)做快照时redis是否阻塞

1)全量快照,对每个数据都要做

2)不阻塞,通过fork的copy on write技术来处理,复制内存,然后子进程做快照,父进程进行操作,如果修改了key/value的话,子进程就读取key/value的副本

但是内存全量快照负担重,我们可以第一个做全量,后面做增量,也就是快照+AOF的这种结合。就是raft日志快照,和log record一样。

进程绑核是将一个进程或线程固定到一个或多个特定的CPU核心上,以优化系统性能和资源利用率