Zookeeper集群环境搭建 | Eddie'Blog
Zookeeper集群环境搭建

Zookeeper集群环境搭建

eddie 270 2021-07-15

目录

Zookeeper集群环境搭建

(一) Zookeeper基础知识、体系结构、数据模型

  1. zookeeper是一个类似linux、hdfs的树形文件结构,zookeeper可以用来保证数据在(zk)集群之间的数据的事务性一致、
  2. zookeeper有watch事件,是一次性触发的,当watch监视的数据发生变化时,通知设置了该watch的client,即watcher
  3. zookeeper有三个角色:Leader,Follower,Observer
  4. zookeeper应用场景:
    • 统一命名服务(Name Service)
    • 配置管理(Configuration Management)
    • 集群管理(Group Membership)
    • 共享锁(Locks)
    • 队列管理

(二) Zookeeper配置(搭建zookeeper服务器集群)

  • 规模不小于3个节点
  • 服务器之间系统时间保持一致
  • 下面操作,==三个节点都需要运行一遍==

1.1 结构:一共三个节点

序号IP地址设置hostname
1192.168.8.108hostnamectl set-hostname zk108
2192.168.8.240hostnamectl set-hostname zk240
3192.168.8.246hostnamectl set-hostname zk246

注意 /etc/hostname 和 /etc/hosts 配置主机名称

vim /etc/hosts

192.168.8.108  zk108
192.168.8.240  zk240
192.168.8.246  zk246

1.2 解压

# 存放位置
[root@zk108 software]# ll /opt/software/
total 109308
-rw-r--r-- 1 root root 17699306 Oct 31  2018 zookeeper-3.4.6.tar.gz

# 解压 & 重命名 & 移动位置
[root@zk108 zookeeper]# cd /opt/software/ && tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local/ && cd /usr/local/ && mv zookeeper-3.4.6 zookeeper && cd /usr/local/zookeeper

1.3 配置环境变量

[root@zk108 zookeeper]# vim /etc/profile
#---------------------------------------------------------------------------------------------------------
#java
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

#maven
export M2_HOME=/usr/local/maven
export PATH=$PATH:${M2_HOME}/bin

# ZK
export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=$PATH:${ZOOKEEPER_HOME}/bin
#---------------------------------------------------------------------------------------------------------

[root@zk108 zookeeper]# source /etc/profile

1.4 修改Zk配置文件

修改前工作
# 切换路径
[root@zk108 zookeeper]# cd /usr/local/zookeeper/conf

# 新建存放数据文件
[root@zk108 conf]# mkdir -p /usr/local/zookeeper/data

# 备份一个即将修改的配置文件
[root@zk108 conf]# cp zoo_sample.cfg zoo.cfg
修改 zoo.cfg
[root@zk108 conf]# vim zoo.cfg

# 修改原来的tmp
dataDir=/usr/local/zookeeper/data

# 文件底部添加
server.0=zk108:2888:3888
server.1=zk240:2888:3888
server.2=zk246:2888:3888
zoo.cfg详解
点击查看
tickTime:	基本事件单元,以毫秒为单位。这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,
			也就是每隔 tickTime时间就会发送一个心跳。
			
initLimit:	这个配置项是用来配置 Zookeeper 接受客户端初始化连接时最长能忍受多少个心跳时间间隔数,
	当已经超过 10 个心跳的时间(也就是 tickTime)长度后 Zookeeper 服务器还没有收到客户端的返回信息,
	那么表明这个客户端连接失败。总的时间长度就是 10*2000=20 秒。
	
syncLimit:	这个配置项标识 Leader 与 Follower 之间发送消息,请求和应答时间长度,
	最长不能超过多少个 tickTime 的时间长度,总的时间长度就是 5*2000=10 秒
			
dataDir:	存储内存中数据库快照的位置,顾名思义就是 Zookeeper 保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。

clientPort: 这个端口就是客户端连接 Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。


server.A = B:C:D : 
			A表示这个是第几号服务器,
			B 是这个服务器的 ip 地址;
			C 表示的是这个服务器与集群中的 Leader 服务器交换信息的端口;
			D 表示的是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的 Leader

1.5 修改Zk的服务标识

vim /usr/local/zookeeper/data/myid

0

根据 server.0 的 0 定义的标识, 如此类推 zk240 和 zk246 服务器也需要一样修改操作

(三) Zookeeper 集群启动

没有配置环境变量情况下:

cd /usr/local/zookeeper/bin
zkServer.sh start
zkServer.sh status

定义了/etc/profile情况下:

# 启动
zkServer.sh start

# 状态
zkServer.sh status

# 停止
zkServer.sh stop

三个节点都需要运行:status会出现 Mode: 一个 leader / 两个 follower

(四) Zookeeper 基本操作

# 进入zk终端
[root@zk108 zookeeper]# zkCli.sh

# 查看根目录
[zk: localhost:2181(CONNECTED) 0] ls /
[zookeeper]

# 查看目录下的指定文件夹
[zk: localhost:2181(CONNECTED) 1] ls /zookeeper
[quota]

# 创建文件夹
[zk: localhost:2181(CONNECTED) 4] create /test https://blog.csdn.net/eddielee9217
Created /test

# 查看test文件夹
[zk: localhost:2181(CONNECTED) 6] get /test
https://blog.csdn.net/eddielee9217
cZxid = 0x100000003
ctime = Thu Jul 15 17:44:02 CST 2021
mZxid = 0x100000003
mtime = Thu Jul 15 17:44:02 CST 2021
pZxid = 0x100000003
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 34
numChildren = 0

# 修改test文件的值
[zk: localhost:2181(CONNECTED) 7] set /test https://blog.eddilee.cn
cZxid = 0x100000003
ctime = Thu Jul 15 17:44:02 CST 2021
mZxid = 0x100000004
mtime = Thu Jul 15 17:45:24 CST 2021
pZxid = 0x100000003
cversion = 0
dataVersion = 1
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 23
numChildren = 0

# 删除test文件
[zk: localhost:2181(CONNECTED) 8] delete /test

mZxid 和 dataVersion 会因修改后而叠加变化

错误记录

如若查看status出现Error, 可以查看日志:

tail -f -n 200 /usr/local/zookeeper/zookeeper.out

错误一

2021-07-15 17:28:13,346 [myid:0] - WARN  [QuorumPeer[myid=0]/0:0:0:0:0:0:0:0:2181:QuorumCnxManager@382] - Cannot open channel to 2 at election address zk246/192.168.8.246:3888
java.net.ConnectException: Connection refused (Connection refused)
        at java.net.PlainSocketImpl.socketConnect(Native Method)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:606)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectOne(QuorumCnxManager.java:368)
        at org.apache.zookeeper.server.quorum.QuorumCnxManager.connectAll(QuorumCnxManager.java:402)
        at org.apache.zookeeper.server.quorum.FastLeaderElection.lookForLeader(FastLeaderElection.java:840)
        at org.apache.zookeeper.server.quorum.QuorumPeer.run(QuorumPeer.java:762)
2021-07-15 17:28:13,346 [myid:0] - INFO  [QuorumPeer[myid=0]/0:0:0:0:0:0:0:0:2181:FastLeaderElection@849] - Notification time out: 51200

解决方法:本机用节点 用 0.0.0.0 IP代替主机名

[root@zk108 zookeeper]# cat /usr/local/zookeeper/conf/zoo.cfg | grep server
server.0=0.0.0.0:2888:3888
server.1=zk240:2888:3888
server.2=zk246:2888:3888

[root@zk240 zookeeper]# cat /usr/local/zookeeper/conf/zoo.cfg | grep server
server.0=zk108:2888:3888
server.1=0.0.0.0:2888:3888
server.2=zk246:2888:3888

[root@zk246 zookeeper]# cat /usr/local/zookeeper/conf/zoo.cfg | grep server
server.0=zk108:2888:3888
server.1=zk240:2888:3888
server.2=0.0.0.0:2888:3888

# Zookeeper