摘要:集群模式通过自研一致性协议Distro以及Raft协议,将多个Nacos节点构建成了高可用的Nacos集群。数据将在集群中各个节点进行同步,保证数据的一致性。集群模式具有高可用、高扩展、高并发等优点,确保在故障发生时不影响业务的运行。集群模式默认采用外置数据库
集群模式通过自研一致性协议Distro以及Raft协议,将多个Nacos节点构建成了高可用的Nacos集群。数据将在集群中各个节点进行同步,保证数据的一致性。集群模式具有高可用、高扩展、高并发等优点,确保在故障发生时不影响业务的运行。集群模式默认采用外置数据库进行存储,但也可以通过内置数据库进行存储。
该模式主要适合于生产环境,也是社区最为推荐的部署模式。
无论采用何种部署方式,推荐用户把Nacos集群中所有服务节点放到一个vip下面,然后挂到一个域名下面。
直连ip模式: ,机器挂则需要修改ip才可以使用。挂载SLB模式: , (内网SLB,不可暴露到公网,以免带来安全风险),直连SLB即可,下面挂server真实ip,可读性不好。域名 + SLB模式: , (内网SLB,不可暴露到公网,以免带来安全风险),可读性好,而且换ip方便,推荐模式在使用VIP时,需要开放Nacos服务的主端口(默认8848)以及gRPC端口(默认9848)、同时如果对Nacos的主端口有所修改的话,需要对vip中的端口映射作出配置,具体端口的映射方式参考部署手册概览-Nacos部署架构
参考快速开始中,进行Nacos的环境准备、发行版的下载等。
同时在使用MySQL数据源部署Nacos单机模式时,需要自行准备MySQL数据库:
1.安装数据库,版本要求:5.6.5+2.初始化mysql数据库,数据库初始化文件:mysql-schema.sql在nacos的解压目录nacos/的conf目录下,有配置文件cluster.conf,请每行配置成ip
。(请配置3个或3个以上节点)
# ip:port200.8.9.16:8848200.8.9.17:8848200.8.9.18:8848然后修改${nacos.home}/conf/application.properties文件,增加支持MySQL数据源配置,添加MySQL数据源的url、用户名和密码。
spring.sql.init.platform=mysqldb.num=1db.url.0=jdbc:mysql://${mysql_host}:${mysql_port}/${nacos_database}?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=truedb.user=${mysql_user}db.password=${mysql_password}修改conf目录下的application.properties文件。
设置其中
nacos.core.auth.enabled=truenacos.core.auth.system.type=nacosnacos.core.auth.plugin.nacos.token.secret.key=${自定义,保证所有节点一致}nacos.core.auth.server.identity.key=${自定义,保证所有节点一致}nacos.core.auth.server.identity.value=${自定义,保证所有节点一致}上述内容详情可查看权限认证.
注意,文档中的默认值SecretKey012345678901234567890123456789012345678901234567890123456789和VGhpc0lzTXlDdXN0b21TZWNyZXRLZXkwMTIzNDU2Nzg=为公开默认值,可用于临时测试,实际使用时请务必更换为自定义的其他有效值。
在每个部署节点上,执行如下命名,逐台或同时启动Nacos节点。
# Linux/Unix/Macsh startup.sh# Ubuntubash startup.sh# Windowsstartup.cmd注意:Derby数据库为本地内置数据库,本身不支持集群模式,Nacos通过Raft协议将各个节点的Derby数据库组成逻辑集群,因此使用此模式部署集群模式的Nacos是,需要对Raft协议较为熟悉,能够进行问题排查、恢复等,建议使用MySQL数据库进行部署。
上述内容详情可查看权限认证.
启动Nacos集群# Linux/Unix/Macsh startup.sh -p embedded# Ubuntubash startup.sh -p embedded# Windowsstartup.cmd -p embedded高级使用自定义配置Nacos提供了丰富的可配置项,帮助调整Nacos的性能、控制Nacos提供的功能能力,例如鉴权、监控、数据库、连接、日志等;详情请参考系统参数。
参考快速开始 Docker中,进行nacos-docker项目的下载,然后执行如下命令,即可启动Nacos集群。
docker-compose -f example/cluster-hostname.yaml updocker-compose -f example/cluster-embedded.yaml up高级配置如果你有很多自定义配置的需求,可以通过指定系统参数-镜像环境变量的方式进行配置,例如需要开启鉴权时:
docker run \--name nacos-cluster-auth \-e MODE=cluster \-e NACOS_AUTH_ENABLE=true \-e NACOS_AUTH_TOKEN=${customToken} \-e NACOS_AUTH_IDENTITY_KEY=${customKey} NACOS_AUTH_IDENTITY_VALUE=${customValue} \-p 8848:8848 \-d -p 9848:9848 \nacos/nacos-server:latest同时,可以通过对application.properties文件进行挂卷定义的方式,将更多复杂的自定义配置导入Nacos容器中,强烈建议在生产环境中使用方式,例如:
docker run \--name nacos-cluster \-e MODE=cluster \-v /path/application.properties:/home/nacos/conf/application.properties \-v /path/cluster.conf:/home/nacos/conf/cluster.conf \-p 8848:8848 \-d -p 9848:9848 \nacos/nacos-server:latest如果仍然无法满足自定义需求,可以基于nacos-docker项目中的Dockerfile自行构建镜像。
通过快速开始 Kubernetes文档,已经能够部署使用MySQL数据库的Nacos的集群模式。
但快速开始所部署的Nacos集群没有使用持久化卷的,可能存在数据丢失风险;因此推荐使用PVC持久卷方式进行部署,本例中将使用的是NFS来使用PVC。
Tips: 推荐使用Nacos Operator在Kubernetes部署Nacos Server.kubectl create -f deploy/nfs/rbac.yaml如果的K8S命名空间不是default,请在部署RBAC之前执行以下脚本:
# Set the subject of the RBAC objects to the current namespace where the provisioner is being deployed$ NS=$(kubectl config get-contexts|grep -e "^\*" |awk '{print $5}')$ NAMESPACE=${NS:-default}$ sed -i'' "s/namespace:.*/namespace: $NAMESPACE/g" ./deploy/nfs/rbac.yamlkubectl create -f deploy/nfs/deployment.yamlkubectl create -f deploy/nfs/class.yamlkubectl get pod -l app=nfs-client-provisioner部署数据库cd nacos-k8skubectl create -f deploy/mysql/mysql-nfs.yamlTerminal windowkubectl get podNAME READY STATUS RESTARTS AGEmysql-gf2vd 1/1 Running 0 111m数据库初始化语句位置 mysql-schema.sql
部署Nacos修改 deploy/nacos/nacos-pvc-nfs.yamldata: mysql.host: "数据库地址" mysql.db.name: "数据库名称" mysql.port: "端口" mysql.user: "用户名" mysql.password: "密码"创建 Nacoskubectl create -f nacos-k8s/deploy/nacos/nacos-pvc-nfs.yamlkubectl get pod -l app=nacosNAME READY STATUS RESTARTS AGEnacos-0 1/1 Running 0 19hnacos-1 1/1 Running 0 19hnacos-2 1/1 Running 0 19h扩容测试获取配置文件信息在扩容前,使用 kubectl exec获取在pod中的Nacos集群配置文件信息
for i in 0 1; do echo nacos-$i; kubectl exec nacos-$i cat conf/cluster.conf; doneStatefulSet控制器根据其序数索引为每个Pod提供唯一的主机名。 主机名采用 - 的形式。 因为nacos StatefulSet的副本字段设置为2,所以当前集群文件中只有两个Nacos节点地址
在扩容后,使用 kubectl exec获取在pod中的Nacos集群配置文件信息
for i in 0 1 2; do echo nacos-$i; kubectl exec nacos-$i cat conf/cluster.conf; done使用 kubectl exec执行Nacos API 在每台节点上获取当前Leader是否一致
for i in 0 1 2; do echo nacos-$i; kubectl exec nacos-$i curl -X GET "http://localhost:8848/nacos/v1/ns/raft/state"; done名称必要描述mysql.hostY自建数据库地址,使用外部数据库时必须指定mysql.db.nameY数据库名称mysql.portN数据库端口mysql.userY数据库用户名(请不要含有符号,)mysql.passwordY数据库密码(请不要含有符号,)SPRING_DATASOURCE_PLATFORMY数据库类型,默认为embedded嵌入式数据库,参数只支持mysql或embeddedNACOS_REPLICASN确定执行Nacos启动节点数量,如果不适用动态扩容插件,就必须配置这个属性,否则使用扩容插件后不会生效NACOS_SERVER_PORTNNacos 端口 为peer_finder插件提供端口NACOS_APPLICATION_PORTNNacos 端口PREFER_HOST_MODEY启动Nacos集群按域名解析名称必要描述NFS_SERVERYNFS 服务端地址NFS_PATHYNFS 共享目录serverYNFS 服务端地址pathYNFS 共享目录名称必要描述MYSQL_ROOT_PASSWORDNROOT 密码MYSQL_DATABASEY数据库名称MYSQL_USERY数据库用户名MYSQL_PASSWORDY数据库密码MYSQL_REPLICATION_USERY数据库复制用户MYSQL_REPLICATION_PASSWORDY数据库复制用户密码Nfs:serverNNFS 服务端地址,如果使用本地部署不需要配置Nfs:pathNNFS 共享目录,如果使用本地部署不需要配置来源:散文随风想