1.mysql主从复制和读写分离的相关知识

1.1 什么是读写分离?

读写分离，基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) ，而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

1.2 为什么要读写分离呢?

因为数据库的“写”（写10000条数据可能要3分钟）操作是比较耗时的。

但是数据库的“读”（读10000条数据可能只要5秒钟）；

所以读写分离，解决的是，数据库的写入，影响了查询的效率。

1.3 什么时候要读写分离?

数据库不一定要读写分离，如果程序使用数据库较多时，而更新少，查询多的情况下会考虑使用。利用数据库主从同步，再通过读写分离可以分担数据库压力，提高性能。

1.4 主从复制的优点

  • 数据分布：通过复制将数据分布到不同地理位置

  • 负载均衡：读写分离以及将读负载到多台从库

  • 备份：可作为实时备份

  • 高可用性：利用主主复制实现高可用

1.5 主从复制与读写分离

在实际的生产环境中，对数据库的读和写都在同一个数据库服务器中，是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。

因此，通过主从复制的方式来同步数据，再通过读写分离来提升数据库的并发负载能力。有点类似于rsync（文件同步工具），但是不同的是rsync是对磁盘文件做备份，而mysql主从复制是对数据

1.6 mysql支持的复制类型

（1） STATEMENT：基于语句的复制。在服务器上执行sql语句，在从服务器上执行同样的语句，mysql默认采用基于语句的复制（5.7版本之前），执行效率高。高并发的情况可能会出现执行顺序的误差，事务的死锁。

（2）ROW：基于行的复制。把改变的内容复制过去，而不是把命令在从服务器上执行一 遍。精确，但效率低，保存的文件会更大。（5.7版本之后默认采用ROW模式）

（3）MIXED：混合类型的复制。默认采用基于语句的复制，一旦发现基于语句无法精确复制时，就会采用基于行的复制。更智能，所以大部分情况下使用MIXED。

STATEMENT和row的对比

STATEMENT：

传输效率高，减少延迟。

在从库更新不存在的记录时，语句赋值不会失败。而行复制会导致失败，从而更早发现主从之间的不一致。

设表里有一百万条数据，一条sql更新了所有表，基于语句的复制仅需要发送一条sql，而基于行的复制需要发送一百万条更新记录

row

不需要执行查询计划。

不知道执行的到底是什么语句。

1.7 mysql主从复制的过程

主从复制基于主mysql服务器和从mysql服务器的三个线程和两个日志展开进行的：

两个日志：二进制日志（bin log）、中继日志（Relay log）

三个线程：I/O线程、dump线程、SQL线程

（1） 用户在主库中更新写入sql语句（select语句 不会写入二进制文件中），主库将其记录在（binlog）二进制日志文件中。

（2）从库会对主库进行检测，当主库的二进制日志发生改变时，从库会开启io线程，向主库请求读取二进制事件。

（3）主库开启dump线程答应从库的请求，向从库发送二进制事件。从库通过io线程将主库发送的二进制事件记录到中继日志中。

（4）从库中的SQL线程之后会对中继日志进行读取，并进行重放的操作，保证数据的一致性。重放结束后，从库的I/O线程和SQL线程将进入睡眠状态，等待下一次被唤醒。

1.8MySQL主从复制的几个同步模式

（1）异步复制（Asynchronous replication）

MySQL默认的复制即是异步的，主库在执行完客户端提交的事务后会立即将结果返给客户端，并不关心从库是否已经接收并处理，这样就会有一个问题，主如果crash掉了，此时主上已经提交的事务可能并没有传到从上，如果此时，强行将从提升为主，可能导致新主上的数据不完整。

（2）全同步复制（Fully synchronous replication）

指当主库执行完一个事务，所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回，所以全同步复制的性能必然会收到严重的影响。

（3）半同步复制（Semisynchronous replication）

介于异步复制和全同步复制之间，主库在执行完客户端提交的事务后不是立刻返回给客户端，而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制，半同步复制提高了数据的安全性，同时它也造成了一定程度的延迟，这个延迟最少是一个TCP/IP往返的时间。所以，半同步复制最好在低延时的网络中使用。

2.主从复制的常见问题及解决方案

2.1 主从复制延迟的原因及解决方案

主从复制延迟原因

  • master服务器高并发，形成大量事务。
  • 网络延迟。
  • 主从硬件设备导致（cpu主频、内存IO、硬盘IO）。
  • 是同步复制，而不是异步复制。

解决方案

（1）硬件方面
从库配置更好的硬件，提升随机写的性能。比如原本是机械盘，可以考虑更换为ssd固态。升级核心数更强的cpu、加大内存。避免使用虚拟云主机，使用物理主机

（2）网络方面
将从库分布在相同局域网内或网络延迟较小的环境中。尽量避免跨机房，跨网域进行主从数据库服务器的设置

（3）架构方面
在事务当中尽量对主库读写，其他非事务中的读在从库。消除一部分延迟带来的数据库不一致。增加缓存降低一些从库的负载。

（4）mysqld服务配置方面
该配置设置针对mysql主从复制性能优化最大化，安全性并不高。如果从安全的角度上考虑的话，就要设置双一设置

追求安全性的双一设置：
innodb_flush_log_at_trx_commit=1
sync_binlog=1

追求性能化设置：

sync_binlog=0
innodb_flush_log_at_trx_commit=2
logs-slave-updates=0
增大 innodb_buffer_pool_size

配置讲解

1）sync_binlog：binlog 的刷盘策略，默认为0

如果为 0，像操作系统刷其他文件的机制一样，MySQL不会同步到磁盘中去而是依赖操作系统来刷新binary log。
sync_binlog = N (N>0)，MySQL 在每写 N 次 二进制日志binary log时，会使用fdatasync()函数将它的写二进制日志binary log同步到磁盘中去。

2）innodb_flush_log_at_trx_commit：redo log 的刷盘策略，默认为 1

如果innodb_flush_log_at_trx_commit设置为 0：log buffer将每秒一次地写入log file中，并且log file的flush(刷到磁盘)操作同时进行.该模式下，在事务提交的时候，不会主动触发写入磁盘的操作;
如果innodb_flush_log_at_trx_commit设置为 1：每次事务提交时MySQL都会把log buffer的数据写入log file，并且flush(刷到磁盘)中去;
如果innodb_flush_log_at_trx_commit设置为 2：每次事务提交时MySQL都会把log buffer的数据写入log file，但是flush(刷到磁盘)操作并不会同时进行。该模式下,MySQL会每秒执行一次 flush(刷到磁盘)操作。

3）logs-slave-updates=0

从服务器从主服务器接收到的更新不记入它的二进制日志。

4）innodb_buffer_pool_size

它的是一个内存区域，用来缓存 InnoDB存储引擎的表中的数据和索引数据。以便提高对 InnoDB存储引擎表中数据的查询访问速度。
在查看 innodb_buffer_pool_size这个参数值的时候，是以 字节(byte)为单位进行展现的。它的默认值为 134217728字节，也就是 128MB(134217728/1204/1024=128MB，1MB=1024KB,1KB=1024Byte)。
在MySQL 5.7.5版本后，可以在不重启MySQL数据库服务的情况下，动态修改这个参数的值，但是在此版本之前的老版本修改后需要重启数据库服务才可以生效。

2.2 主从复制不一致的原因及解决方案

产生主从复制不一致的可能原因

产生主从复制不一致的可能原因
人为原因导致从库与主库数据不一致（从库写入）
主从复制过程中，主库异常宕机
设置了ignore/do/rewrite等replication等规则
binlog非row格式
异步复制本身不保证，半同步存在提交读的问题，增强半同步起来比较完美。 但对于异常重启（Replication Crash Safe），从库写数据（GTID）的防范，还需要策略来保证。
从库中断很久，binlog应用不连续，监控并及时修复主从
从库启用了诸如存储过程，从库禁用存储过程等
数据库大小版本/分支版本导致数据不一致？，主从版本统一
备份的时候没有指定参数 例如mysqldump –master-data=2 等
主从sql_mode 不一致
一主二从环境，二从的server id一致
MySQL自增列 主从不一致
主从信息保存在文件里面，文件本身的刷新是非事务的，导致从库重启后开始执行点大于实际执行点
采用5.6的after_commit方式半同步，主库当机可能会引起主从不一致，要看binlog是否传到了从库
启用增强半同步了（5.7的after_sync方式），但是从库延迟超时自动切换成异步复制

预防方案

（1）双一配置进行

master配置：

innodb_flush_log_at_trx_commit=1
sync_binlog=1

slave配置：

master_info_repository=”TABLE”
relay_log_info_repository=”TABLE”
relay_log_recovery=1

（2） 将从库设置为只读模式

（3）可以使用5.7增强半同步避免数据丢失等。

（4）binlog row格式

（5）必须引定期的数据校验机制。

问题发生的解决方案

方法一：忽略错误后，继续同步（问题出在从库上）

该方法适用于主从库数据相差不大，或者要求数据可以不完全统一的情况，数据要求不严格的情解决

从库进行mysql服务中：

mysql -u root -p
stop slave;
#表示跳过一步错误，后面的数字可变
set global sql_slave_skip_counter =1;
start slave;
之后再用mysql> show slave status\G 查看：

方式二：重新做主从，完全同步

1.先进入主库，进行锁表，防止数据写入

mysql> flush tables with read lock;
注意：该处是锁定为只读状态，语句不区分大小写

2.进行数据备份

#把数据备份到mysql.bak.sql文件
mysqldump -uroot -p -hlocalhost > mysql.bak.sql

这里注意一点：数据库备份一定要定期进行

3.查看master 状态

mysql> show master status;

4.把mysql备份文件传到从库机器，进行数据恢复

#使用scp命令
[root@server01 mysql]# scp mysql.bak.sql 从库主机:/指定路径

5.停止从库的状态

mysql > stop slave ;

6.然后到从库执行mysql命令，导入数据备份

mysql> source /tmp/mysql.bak.sql

7.设置从库同步，注意该处的同步点，就是主库show master status信息里的| File| Position两项

#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致

change master to master_host = ‘主库IP’, master_user = ‘主库用户名’, master_port=3306, master_password=’主库密码’, master_log_file = ‘xxxxx’, master_log_pos=xxxxx;

8.重新开启从同步

mysql> start slave;

9.查看同步状态

mysql> show slave status\G

显示：Slave_IO_Running: Yes
Slave_SQL_Running: Yes

代表同步完成

2.3 主从复制中从库的io，sql线程状态异常

问题1：主从mysql的uuid一致导致

uuid一致的原因：虚拟机中是克隆主机时，MySQL的uuid会一致，或者是本机的数据库进行完全备份，数据迁移到另一台主机上，重启mysql服务后，两台主机的MySQL的uuid会发生一致的现象。

show variables like ‘datadir’;

查看UUID的存放位置，主从服务器的查看方式相同

解决方案

假设是一致，修改其中的主或从uuid（需要中断服务）

mysql -u root -p
mysql> select uuid();

vim /usr/local/mysql/data/auto.cnf
systemctl restart mysqld

问题2： 主从server-id保持一致

修改主配置中的server -id 即可，要保持每台主机的server-id是唯一的，并进行服务的重启。

问题3：因为从库MySQL重启导致二进制文件位置从库和主库不一致。

通过 show master status\G 和show slavestatus\G master_log_file 和 master_log_pos 的值是否一致，若不一致，修改从库，与主库保持一致

#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致

stop slave;
change master to master_host = ‘主库IP’, master_user = ‘主库用户名’, master_port=3306, master_password=’主库密码’, master_log_file = ‘xxxxx’, master_log_pos=xxxxx;

start slave;

如不能成功：尝试重启从库的MySQL服务

2.4mysql从服务器挂了 恢复后怎么保证数据同步？

  • 物理方法：rsync 磁盘文件同步。 使用文件恢复，主节点需要停服务。
  • 主从复制：将从节点原有库删除，通过偏移量，重新做一次主从复制。

2.5 半同步复制什么情况下会降为异步复制？什么时候又会恢复同步复制？

当半同步复制发生超时（由rpl_semi_sync_master_timeout 参数控制，默认为10000ms， 即10s），会暂时关闭半同步复制，转而使用异步复制，也就是会自动降为异步工作。
当malster dump 线程发送完一个事务的所有事件之后，如果在rpl_ semi_sync_master_ timeout 内，收到了从库的响应，则主从又重新恢复为半同步复制。

3.主从复制（异步）的详细操作

实验设计
本次实验采用的是一主二从的异步主从设置。需求：在主机中创建更新的数据库列表，能在短时间内更新到从数据库中。

master主库服务器：192.168.50.25/24

slave从库服务器01：192.168.50.24/24

slave从库服务器02：192.168.50.26/24
注：三台服务器的mysql均为5.7.20版本，要保证mysql版本的一致

实验的具体操作步骤

虚拟机操作时要关闭firewalld和selinux，实际生产环境结合防火墙设置策略进行相关操作

步骤一：同步主从服务器的时间

时间同步的原因：

  • 每台mysql服务器需要设置时间同步，以免数据同步时产生错乱。
  • 如果不通外网，则使用ntp服务。如果通外网，可以使用网络时钟源。

（1）msater 服务器的时间同步

 #安装时间同步工具（本地设置时钟源） yum install -y ntp ​ #修改ntp配置文件，在末尾加入 vim /etc/ntp.conf server 127.127.50.0#设置本地时钟源，注意修改网段（73是网段） fudge 127.127.50.0 stratum 8 #设置时间层级为8（限制在15以内） ​ #开启ntpd systemctl start ntpd

（2）两台slave服务器的时间同步

#安装时间同步工具 yum install -y ntp #开启ntpd systemctl start ntpd ​ #和主服务器进行时间同步 /usr/sbin/ntpdate 192.168.50.25 ​ #设置定时任务，每30分钟同步一次 crontab -e */30 * * * * /usr/sbin/ntpdate 192.168.50.25

注意：

如果出现ntpdate更新后时间不一致，尝试：

service ntpd stop
/usr/sbin/ntpdate 192.168.73.105
systemctl start ntpd

步骤二：主服务器的mysql配置

vim /etc/my.cnf
[mysqld]
……
server-id = 1#指定服务ID号，master和两台slave都要不同
log-bin=mysql-bin#添加，主服务器开启二进制日志
binlog_format = MIXED#指定二进制日志(binlog)的记录格式为MIXED
log-slave-updates=true #添加，允许slave从master复制数据时可以写入到自己的二进制日志
expire_logs_days = 7#设置二进制日志文件过期时间，默认值为0，表示logs不过期
max_binlog_size = 500M #设置二进制日志限制大小，如果超出给定值，日志就会发生滚动，默认值是1GB

​
#重启服务
systemctl restart mysqld
​
mysql -u root -p

#给从服务器授权
grant replication slave on *.* to ‘myslave’@’192.168.73.%’ identified by ‘123123’;
flush privileges;#刷新权限
​
show master status; #查看主服务器状态

步骤三：从服务器的配置部署

两台slave配置一致（server-id 设置不同即可，其他操作均相同）

vim /etc/my.cnf
[mysqld]
……
server-id = 2#修改，注意id与Master的不同，两个Slave的id也要不同
relay-log=relay-log-bin #添加，开启中继日志，从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index#添加，定义中继日志索引文件的位置和名称，一般和relay-log在同一目录

relay_log_recovery = 1
#选配项
#当 slave 从库宕机后，假如 relay-log 损坏了，导致一部分中继日志没有处理，则自动放弃所有未执行的 relay-log，并且重新从 master 上获取日志，这样就保证了 relay-log 的完整性。默认情况下该功能是关闭的，将 relay_log_recovery 的值设置为 1 时， 可在 slave 从库上开启该功能，建议开启。
​
#重启服务
systemctl restart mysqld
​
#登录数据库，进行同步设置
mysql -u root -p

change master to master_host=’192.168.73.105′,master_user=’myslave’,master_password=’123123′,master_log_file=’mysql-bin.000012′,master_log_pos=154;

#配置同步，注意 master_log_file 和 master_log_pos 的值要与Master查询的一致
​
start slave;#启动同步，如有报错执行 reset slave;
​
show slave status\G #查看 Slave 状态

注意：

一般 “Slave_IO_Running: No” 的可能原因：

  1. 网络不通
  2. my.cnf配置有问题（server-id重复）
  3. 密码、file文件名、pos偏移量不对
  4. 防火墙没有关闭

主从复制的测试

测试一：主服务器创建数据，从服务器复制数据

主服务器：创建测试数据

从服务器01：

从服务器2

测试二：从服务器更新数据，是否主服务器能查看

从服务器02操作：

查看主服务器：

实验结论

验证了主从复制过程中，从服务时通过io线程记录主发来的二进制文件保存在中继日志中，

通过sql线程的重放获取数据，此过程时主服务器对从服务器的一个单向过程，不可逆。

实验过程

  1. 主从服务器时间同步。
  2. 配置主服务器，修改其配置文件，在主数据库中创建一个同步账号授权给从数据库使用。
  3. 配置从数据库，修改其配置文件，在从数据库中配置同步。
  4. 验证能否同步成功

4.主从复制中的（半同步）设置

1）在一主多从的架构中，如果要开启半同步复制，并不要求所有的从都是半同步复制。

2）MySQL 5.7极大的提升了半同步复制的性能。

5.6 版本的半同步复制，dump thread 承担了两份不同且又十分频繁的任务：传送binlog 给 slave ，还需要等待 slave 反馈信息，而且这两个任务是串行的，dump thread 必须等待 slave 返回之后才会传送下一个 events 事务。dump thread 已然成为整个半同步提高性能的瓶颈。在高并发业务场景下，这样的机制会影响数据库整体的系统吞吐量(TPS)。
5.7 版本的半同步复制中，独立出一个 ack collector thread ，专门用于接收 slave 的反馈信息。这样 master 上有两个线程独立工作，可以同时发送 binlog 到 slave ，和接收 slave 的反馈。

 -------1、所有服务器关闭防火墙------ systemctl disable --now firewalld setenforce 0 ​ ​ -------2、主数据库配置--------- vim /etc/my.cnf #在 [mysqld] 区域添加下面内容 ...... plugin-load=rpl_semi_sync_master=semisync_master.so #加载mysql半同步复制的插件 rpl_semi_sync_master_enabled=ON #或者设置为"1"，即开启半同步复制功能 rpl-semi-sync-master-timeout=1000 #超时时间为1000ms，即1s ​ systemctl restart mysqld ​ ​ -------3、从数据库配置----------- vim /etc/my.cnf...... plugin-load=rpl_semi_sync_slave=semisync_slave.so rpl_semi_sync_slave_enabled=ON ​ systemctl restart mysqld ​ ​ -------4、查看半同步是否在运行--------------- #主数据库执行 show status like 'Rpl_semi_sync_master_status'; show variables like 'rpl_semi_sync_master_timeout'; ​ #从数据库执行（此时可能还是OFF状态，需要在下一步重启IO线程后，从库半同步状态才会为ON） show status like 'Rpl_semi_sync_slave_status'; ​ #重启从数据库上的IO线程 STOP SLAVE IO_THREAD; START SLAVE IO_THREAD; ​ #在主库查询半同步状态 show status like '%Rpl_semi%'; ​ ​ 参数说明： Rpl_semi_sync_master_clients#半同步复制客户端的个数 Rpl_semi_sync_master_net_avg_wait_time#平均等待时间（默认毫秒） Rpl_semi_sync_master_net_wait_time#总共等待时间 Rpl_semi_sync_master_net_waits#等待次数 Rpl_semi_sync_master_no_times #关闭半同步复制的次数 Rpl_semi_sync_master_no_tx#表示没有成功接收slave提交的次数 Rpl_semi_sync_master_status #表示当前是异步模式还是半同步模式，on为半同步 Rpl_semi_sync_master_timefunc_failures#调用时间函数失败的次数 Rpl_semi_sync_master_tx_avg_wait_time #事物的平均传输时间 Rpl_semi_sync_master_tx_wait_time #事物的总共传输时间 Rpl_semi_sync_master_tx_waits #事物等待次数 Rpl_semi_sync_master_wait_pos_backtraverse#可以理解为"后来的先到了，而先来的还没有到的次数" Rpl_semi_sync_master_wait_sessions#当前有多少个session因为slave的回复而造成等待 Rpl_semi_sync_master_yes_tx #成功接受到slave事物回复的次数 ​ 当半同步复制发生超时（由rpl_semi_sync_master_timeout参数控制，默认为10000ms，即10s），会暂时关闭半同步复制，转而使用异步复制，也就是会自动降为异步工作。 当 master dump 线程发送完一个事务的所有事件之后，如果在 rpl_semi_sync_master_timeout 内，收到了从库的响应， 则主从又重新恢复为半同步复制。

5.读写分离的运用

5.1 MySQL读写分离原理

  • 读写分离就是只在主服务器上写，只在从服务器上读。
  • 基本的原理是让主数据库处理事务性操作，而从数据库处理select查询。
  • 数据库复制被用来把主数据库上事务性操作导致的变更，同步到集群中的从数据库。

5.2 MysQL实验读写分离常见方式

1）基于程序代码内部实现

在代码中根据select、insert进行路由分类，这类方法也是目前生产环境应用最广泛的。

优点是性能较好，因为在程序代码中实现，不需要增加额外的设备为硬件开支；缺点是需要开发人员来实现，运维人员无从下手。

但是并不是所有的应用都适合在程序代码中实现读写分离，像一些大型复杂的Java应用，如果在程序代码中实现读写分离对代码改动就较大。

2）基于中间代理层实现

代理一般位于客户端和服务器之间，代理服务器接到客户端请求后通过判断后转发到后端数据库，有以下代表性程序。

（1）MySQL-Proxy。MySQL-Proxy为MysQL开源项目，通过其自带的1ua脚本进行sQL判断。

（2）Atlas。是由奇虎360的Web平台部基础架构团队开发维护的一个基于MysQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上，对其进行了优化，增加了一些新的功能特性。360内部使用atlas运行的mysql业务，每天承载的读写请求数达几干保条。支持事物以及存储过程。

（3）Amoeba。由陈思儒开发，作者曾就职于阿里巴巴。该程序由Java语言进行开发，阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

（4）Mycat。是一款流行的基于Java语言编写的数据库中间件，是一个实现了MySq1协议的服务器，其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

由于使用MysQLProxy需要写大量的ua脚本，这些Lua并不是现成的，而是需要自己去写。这对于并不熟悉MysQLProxy 内置变量和MySQL Protocol的人来说是非常困难的。

Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

6.Amoeba读写分离与主从复制的结合运用

实验设计

结合上一个主从复制的实验，引用Amoeba服务器，使客户端发来的读写请求，进行读写分离，写的操作交予主mysql主服务器处理，读的操作由从库服务器进行处理。

master主库服务器：192.168.50.25/24

slave从库服务器01：192.168.50.24/24

slave从库服务器02：192.168.50.26/24

Aomeba读写分离服务器：192.168.50.23/24

客户端：192.168.50.20/24