MySQL
沐成尘
12月 06, 2022
MySQL 主从/主主 集群搭建。
安装
查看系统版本
uname -a
cat /proc/version
cat /etc/redhat-release
下载
- MySQL 5.7 Linux安装包下载：https://dev.mysql.com/downloads/mysql/
- 官网下载安装包,下载的安装包为：mysql-5.7.30-linux-glibc2.12-x86_64.tar.gz
查询并卸载系统自带的Mariadb
- 批量卸载
rpm -qa | grep mariadb | xargs rpm -e --nodeps
新建用户/组
- 添加mysql用户组
groupadd mysql
- 添加添加mysql用户
useradd -g mysql mysql -d /home/mysql
- 修改mysql用户的登陆密码
passwd mysql
pwd***
- 创建临时目录、数据目录和日志目录
mkdir -p /home/mysql/3306/data
mkdir -p /home/mysql/3306/log
mkdir -p /home/mysql/3306/tmp
# 进入目录/home修改用户组权限
cd /home
chown -R mysql:mysql mysql/
解压安装
将下载的mysql-5.7.30-linux-glibc2.12-x86_64.tar.gz安装包上传至服务器/usr/local目录下
进入目录usr/local,并解压缩上传的安装介质
cd /usr/local
tar -zxvf mysql-5.7.21-linux-glibc2.12-x86_64.tar.gz
- 建立软链接，便于以后版本升级
ln -s mysql-5.7.30-linux-glibc2.12-x86_64 /usr/local/mysql
- 修改mysql文件夹下所有文件的用户和用户组
chown -R mysql:mysql /usr/local/mysql/
配置文件上传
- 创建配置文件，将配置文件my.cnf上传至服务器目录etc下。
[client] # 客户端设置，即客户端默认的连接参数
port = 3306 # 默认连接端口
socket = /home/mysql/3306/tmp/mysql.sock # 用于本地连接的socket套接字，mysqld守护进程生成了这个文件
[mysqld] # 服务端基本设置
# 基础设置
server-id = 1 # Mysql服务的唯一编号 每个mysql服务Id需唯一
port = 3306 # MySQL监听端口
basedir = /usr/local/mysql # MySQL安装根目录
datadir = /home/mysql/3306/data # MySQL数据文件所在位置
tmpdir = /home/mysql/3306/tmp # 临时目录，比如load data infile会用到
socket = /home/mysql/3306/tmp/mysql.sock # 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件
pid-file = /home/mysql/3306/log/mysql.pid # pid文件所在目录
skip_name_resolve = 1 # 只能用IP地址检查客户端的登录，不用主机名
character-set-server = utf8mb4 # 数据库默认字符集,主流字符集支持一些特殊表情符号（特殊表情符占用4个字节）
transaction_isolation = READ-COMMITTED # 事务隔离级别，默认为可重复读，MySQL默认可重复读级别
collation-server = utf8mb4_general_ci # 数据库字符集对应一些排序等规则，注意要和character-set-server对应
init_connect='SET NAMES utf8mb4' # 设置client连接mysql时的字符集,防止乱码
lower_case_table_names = 1 # 是否对sql语句大小写敏感，1表示不敏感
max_connections = 1000 # 最大连接数
max_connect_errors = 1000 # 最大错误连接数
explicit_defaults_for_timestamp = true # TIMESTAMP如果没有显示声明NOT NULL，允许NULL值
max_allowed_packet = 128M # SQL数据包发送的大小，如果有BLOB对象建议修改成1G
interactive_timeout = 1800 # MySQL连接闲置超过一定时间后(单位：秒)将会被强行关闭
wait_timeout = 1800 # MySQL默认的wait_timeout值为8个小时, interactive_timeout参数需要同时配置才能生效
tmp_table_size = 16M # 内部内存临时表的最大值 ，设置成128M；比如大数据量的group by ,order by时可能用到临时表；超过了这个值将写入磁盘，系统IO压力增大
max_heap_table_size = 128M # 定义了用户可以创建的内存表(memory table)的大小
query_cache_size = 0 # 禁用mysql的缓存查询结果集功能；后期根据业务情况测试决定是否开启；大部分情况下关闭下面两项
query_cache_type = 0
# 用户进程分配到的内存设置，每个session将会分配参数设置的内存大小
read_buffer_size = 2M # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区，MySQL会为它分配一段内存缓冲区。
read_rnd_buffer_size = 8M # MySQL的随机读缓冲区大小
sort_buffer_size = 8M # MySQL执行排序使用的缓冲大小
binlog_cache_size = 1M # 一个事务，在没有提交的时候，产生的日志，记录到Cache中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认binlog_cache_size大小32K
back_log = 130 # 在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中；官方建议back_log = 50 + (max_connections / 5),封顶数为900
# 日志设置
log_error = /home/mysql/3306/log/error.log # 数据库错误日志文件
slow_query_log = 1 # 慢查询sql日志设置
long_query_time = 1 # 慢查询时间；超过1秒则为慢查询
slow_query_log_file = /home/mysql/3306/log/slow.log # 慢查询日志文件
log_queries_not_using_indexes = 1 # 检查未使用到索引的sql
log_throttle_queries_not_using_indexes = 5 # 用来表示每分钟允许记录到slow log的且未使用索引的SQL语句次数。该值默认为0，表示没有限制
min_examined_row_limit = 100 # 检索的行数必须达到此值才可被记为慢查询，查询检查返回少于该参数指定行的SQL不被记录到慢查询日志
expire_logs_days = 5 # MySQL binlog日志文件保存的过期时间，过期后自动删除
# 主从复制设置
log-bin = mysql-bin # 开启mysql binlog功能
binlog_format = ROW # binlog记录内容的方式，记录被操作的每一行
binlog_row_image = minimal # 对于binlog_format = ROW模式时，减少记录日志的内容，只记录受影响的列
# Innodb设置
innodb_open_files = 500 # 限制Innodb能打开的表的数据，如果库里的表特别多的情况，请增加这个。这个值默认是300
innodb_buffer_pool_size = 64M # InnoDB使用一个缓冲池来保存索引和原始数据，一般设置物理存储的60% ~ 70%；这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少
innodb_log_buffer_size = 2M # 此参数确定写日志文件所用的内存大小，以M为单位。缓冲区更大能提高性能，但意外的故障将会丢失数据。MySQL开发人员建议设置为1－8M之间
innodb_flush_method = O_DIRECT # O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突
innodb_write_io_threads = 4 # CPU多核处理能力设置，根据读，写比例进行调整
innodb_read_io_threads = 4
innodb_lock_wait_timeout = 120 # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒
innodb_log_file_size = 32M # 此参数确定数据日志文件的大小，更大的设置可以提高性能，但也会增加恢复故障数据库所需的时间
sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION
初始化数据库
- 进入目录/usr/local/mysql/bin
cd /usr/local/mysql/bin
- 初始化数据库，指定启动MySQL的用户为mysql
./mysqld --initialize --user=mysql
- 安装完成后，在my.cnf中配置的datadir目录下生成一个error.log文件，里面记录了root用户的随机密码。
cd /home/mysql/3306/log
# 查看
tailf error.log
2022-04-29T03:21:24.5894837 1 [Note][ Atemporarypasswordisgenerated for root@localhost: 7=_ fBr8xiw&r
- root@localhost:后面的就是随机密码
设置开机自启动服务
- 复制启动脚本到资源目录
cd /usr/local/mysql
cp ./support-files/mysql.server /etc/rc.d/init.d/mysqld
- 增加mysqld服务控制脚本执行权限
chmod +x /etc/rc.d/init.d/mysqld
- 将mysqld服务加入到系统服务
chkconfig --add mysqld
- 检查mysqld服务是否已经生效
chkconfig --list mysqld
- 如果出现以下信息，说明已经生效
[ root@localhost mysql]# chkconfig --list mysqld
Note: This output shows SysV services only and does not include native
systemd services. SysV configuration data might be overridden by native
systemd configu ration .
If you want to list systemd services use ' systemctl list-unit- files
To see services enabled on particular target use
' sys temctl list- dependencies [target]'
mysqLd
0:off 1:off 2:on 3:on 4: on 5:on 6:off
启动mysql
- 切换至mysql用户
su -mysql
- 启动mysql
service mysqld start
如果出现Starting MySQL.SUCCESS! 服务启动成功
为了更好的操作mysql，配置环境变量
vim /etc/profile
# 增加：
export PATH=$PATH:/usr/local/mysql/bin
source /etc/profile
修改密码
- 登陆mysql，密码为error.log中生成的随机密码
mysql -uroot -p
- 修改root用户密码
set password for root@localhost=password("**");
授权用户远程访问
- 授权用户远程登陆
grant all privileges on *.* to 'root'@'%' identified by '3GtzcH' with grant option;
- 刷新mysql的权限
flush privileges;
quit;
常见问题
- 启动/停止/重启
#启动
service mysqld start
#停止
service mysqld stop
重启
service mysqld restart
主从配置
在主从配置之前需要确保两台mysql需要同步的库状态一致。
主
配置文件默认在
/etc/my.cnf下。在配置文件中新增配置：
[mysqld]
## 同一局域网内注意要唯一
server-id=1
## 开启二进制日志功能，可以随便取（关键）
log-bin=mysql-bin
- 修改配置后需要重启才能生效：
service mysql restart
- 重启之后进入mysql：
mysql -uroot -p
这一步可以忽略，可以用root用户进行同步：在master数据库创建数据同步用户，授予用户 slave REPLICATION SLAVE权限和REPLICATION CLIENT权限，用于在主从库之间同步数据。
CREATE USER 'slave'@'%' IDENTIFIED BY 'passwd****'; GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'slave'@'%';语句中的
%代表所有服务器都可以使用这个用户，如果想指定特定的ip，将%改成ip即可。查看主mysql的状态：
mysql> show master status\G;
*************************** 1. row ***************************
File: master-bin.00001
Position: 666
Binlog_Do_DB:
Binlog_Ignore_DB:
Executed_Gtid_Set: 37f084e8-9161-11eb-abf6-000c29f882cb:12-13,
87366c38-9164-11eb-988a-000c293c71e0:1-14,
87366c38-9164-11eb-988a-000c293c71e1:1-10
1 row in set (0.00 sec)
- 记录下
File和Position的值，并且不进行其他操作以免引起Position的变化。
从
- 在从
my.cnf配置中新增：
[mysqld]
## 设置server_id, 注意不能和主重复
server-id=2
## 开启二进制日志功能，以备Slave作为其它Slave的Master时使用
log-bin=mysql-slave-bin
## relay_log配置中继日志
relay_log=mysql-relay-bin
- 修改配置后需要重启才能生效：
service mysql restart
- 重启之后进入mysql：
# 连接mysql
mysql -uroot -p
change master to master_host='***ip', master_user='root', master_password='***', master_port=3306, master_log_file='mysql-bin.000001', master_log_pos= 666, master_connect_retry=30;
master_host ：Master的地址
master_port：Master的端口号
master_user：用于数据同步的用户
master_password：用于同步的用户的密码
master_log_file：指定 Slave 从哪个日志文件开始复制数据，即上文中提到的 File 字段的值
master_log_pos：从哪个 Position 开始读，即上文中提到的 Position 字段的值
master_connect_retry：如果连接失败，重试的时间间隔，单位是秒，默认是60秒
- 在从mysql中查看主从同步状态：
show slave status \G;
......
Slave_IO_Running: NO
Slave_SQL_Running: NO
......
此时的SlaveIORunning 和 SlaveSQLRunning 都是No，因为我们还没有开启主从复制过程。
开启主从复制：
start slave;
- 再次查看同步状态：
show slave status \G;
......
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
......
SlaveIORunning 和 SlaveSQLRunning 都是Yes说明主从复制已经开启。
若SlaveIORunning一直是Connecting，有下面4种原因：
1、网络不通，检查ip端口
2、密码不对，检查用于同步的用户名和密码
3、pos不对，检查Master的Position
4、mysql8特有的密码规则问题引起：
ALTER USER 'slave'@'%' IDENTIFIED WITH mysql_native_password BY '';
将密码规则修改为：mysql_native_password
主从 切换至 主主关系
一、清除原 从数据库数据及主从关系
关闭主从数据库原有的主从关系
- 从库停止salve
mysql> stop salve;
- 查看主从关系连接状态，确保IO线程和SQL线程停止运行
mysql> show slave status\G;
......
Slave_IO_Running: NO
Slave_SQL_Running: NO
......
- 清除主从复制关系
mysql>reset slave all;
QueryOK, 0 rowsaffected (0,04 sec)
mysql> show slave status\G
Emptyset (0,00 sec)
清除从数据库原有数据
这一步根据实际情况，处理数据库
- 从库删除原有tsc数据库
mysql> drop database tsc;
- 从库重新创建 数据库
mysql> create database tsc;
二、将主库上的数据备份到从库
- 登录主库，备份所有数据库：
mysqldump -uroot -p --all-databases > sqlfile.sql
- 将sql文件传到从库所属服务器上，恢复数据：
mysql -u b_user -h 127.0.0.1 -p'H_password' -P3306 < sqlfile.sql
- 备份完成后，检查从库中的数据表数量:
mysql> use ***;
mysql> show tables;
mysql> select count(*) from tb_fever_treatment;
+----------+
| count(*) |
+----------+
| 50056 |
+----------+
1 row in set (0.01 sec)
三、建立主主关系
修改数据库配置文件并重启生效
- 修改主库mysql配置文件
[root@mysql-1 ~]# vim /etc/my.cnf
[mysqld]
log_bin=master-bin
binlog_format=ROW
server_id=1
#在原有配置上增加以下内容
#注意offset参数，主主关系两个数据库都可以写入时，自增id会出现冲突，这个属性就是避免该情况。自增不同大小。
auto-increment-offset=1
auto-increment-increment=2
relay_log=mysql-relay-bin
log-slave-updates=on
- 修改从库mysql配置文件
[root@mysql-2 ~]# vim /etc/my.cnf
[mysqld]
log_bin=salve-bin
binlog_format=ROW
server_id=2
#在原有配置上增加以下内容
auto-increment-offset=2
auto-increment-increment=2
relay_log=mysql-relay-bin
log-slave-updates=on
- 重启主数据库并验证。
[root@mysql-1 ~]# systemctl restart mysqld
[root@mysql-1 ~]# systemctl status mysqld
- 重启从数据库并验证。
[root@mysql-2 ~]# systemctl restart mysqld
[root@mysql-2 ~]# systemctl status mysqld
建立数据库主主关系
以mysql-1为主、mysql2为从建立主从关系
- 查看mysql-1的master状态，记录下file和position的值
mysql> show master status\G;
*************************** 1. row ***************************
File: master-bin.00001
Position: 666
Binlog_Do_DB:
Binlog_Ignore_DB:
Executed_Gtid_Set: 37f084e8-9161-11eb-abf6-000c29f882cb:12-13,
87366c38-9164-11eb-988a-000c293c71e0:1-14,
87366c38-9164-11eb-988a-000c293c71e1:1-10
1 row in set (0.00 sec)
- 在mysql-2上建立主从关系
mysql> change master to master_host='****ip',master_port=3306,master_user='root',master_password='**',master_log_file='master-bin.00001',master_log_pos=666;
- 在mysql-2上打开主从关系
mysql> start slave;
- 在mysql-2上查看主从关系，当IO线程和SQL线程都在运行时则主从建立成功
mysql> show slave status\G;
......
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
......
以mysql-2为主、mysql-1为从建立主从关系
- 查看mysql-2的master状态，记录下file和position的值
mysql> show master status\G;
*************************** 1. row ***************************
File: master-bin.00001
Position: 225
Binlog_Do_DB:
Binlog_Ignore_DB:
Executed_Gtid_Set: 37f084e8-9161-11eb-abf6-000c29f882cb:12-13,
87366c38-9164-11eb-988a-000c293c71e0:1-13,
87366c38-9164-11eb-988a-000c293c71e1:1-10
1 row in set (0.00 sec)
- 在mysql-1上建立主从关系
mysql> change master to master_host='***ip',master_port=3306,master_user='root',master_password='**',master_log_file='master-bin.00001',master_log_pos=225;
- 在mysql-1上打开主从关系
mysql> start slave;
- 在mysql-1上查看主从关系，当IO线程和SQL线程都在运行时则主从建立成功
mysql> show slave status\G;
主主关系建立失败回退方案
若主主关系建立失败，则撤销主主关系，mysql-1对外提供服务不受影响，user用户无感知。
在mysql-1上运行:
mysql> stop slave;
在mysql-2上运行:
mysql> stop slave;