SpringCloud+Nacos+RabbitMQ+Docker+Redis+Elasticsearch Java微服务(一)
时间:2023-02-14 04:00:00
看完黑马程序员的免费课程,感觉受益匪浅,写笔记,记录,鼓励你,不断更新。
课程地址:https://www.bilibili.com/video/BV1LQ4y127n4?p=1
1.微服务框架,学习什么?
- 系统整体
- 学什么知识?
- 学习路径
2.了解微服务
- 单体架构
单体结构:将业务的所有功能集中在一个项目中开发,打成一个包部署。
优点: 架构简单 部署成本低
缺点: 耦合度高
- 分布式架构
分布式架构:根据业务功能拆分系统,每个业务功能模块作为独立项目开发,称为服务。
优点:减少服务耦合有利于服务升级和扩展
缺点:服务调用关系复杂
- 分布式架构有很多优点,但并不完美 ,应考虑分布式架构:
服务拆分粒度如何?
如何维护服务集群地址?
如何实现服务间的远程调用?
如何感知服务健康状况?
- 微服务
微服务是一种通过良好架构设计的分布式架构方案,微服务架构特点:
单一职责:微服务拆分粒度较小,每项服务对应于唯一的业务能力,实现单一职责,避免重复业务发展
面向服务:微服务暴露业务界面
自治:团队、技术、数据、部署
隔离性强:服务调用隔离、容错、降级,避免等级问题
- 总结
单体架构的特点?
简单方便,耦合高,扩展性差,适合小项目。例如:学生管理系统
分布式架构的特点?
松耦合,扩展性好,但结构复杂,难度大。适用于京东、淘宝等大型互联网项目
微服务:微服务是一种很好的分布式架构方案
优点:拆分粒度小,服务独立,耦合度低
缺点:结构非常复杂,运维、监控、部署难度提高
3.微服务技术比较
- 微服务结构
微服务需要技术框架,全球互联网公司正在积极尝试自己的微服务着陆技术。中国最著名的是SpringCloud阿里巴巴Dubbo。
4.SpringCloud
- 介绍
SpringCloud它是中国使用最广泛的微服务框架。
官网地址:https://spring.io/projects/spring-cloud。
SpringCloud集成了各种微服务功能组件,并基于SpringBoot实现了这些组件的自动组装,为开箱即用提供了良好的体验:
- SpringBoot与SpringCloud的关系
Spring boot是Spring基于脚手架的快速配置spring boot单个微服务的快速开发。
Spring Cloud基于Spring Boot,为微服务系统开发中的架构问题、服务注册与发现、服务消费、服务保护与熔断、网关、分布式呼叫跟踪、分布式配置管理等提供了一套完整的解决方案。
SpringCloud与SpringBoot版本兼容性如下:
5.服务拆分
- 注意事项
单一职责:不同的微服务,不要重复开发相同的业务
数据独立性:不访问其他微服务的数据库
面向服务:将自己的业务暴露为界面,为其他微服务调用
拆分为
- 总结:
微服务需要根据业务模块进行拆分,以实现单一职责,不要重复开发相同的业务
其他微服务可以将业务暴露为接口
不同的微服务应该有自己独立的数据库
6.远程调用微服务
- 要求:根据订单id在查询订单时,将订单所属的用户信息一起返回
根据服务拆分的原则,订单模块不得直接查询用户数据库,应采用远程调用;
- RestTemplate
RestTemplate 是从 Spring3.0 开始支持一个 HTTP 它提供了一种常见的请求工具REST请求方案的模版,大大提高客户端的编写效率。
- 需求实现
在order-service的OrderApplication中注册RestTemplate
@MapperScan("cn.itcast.order.mapper") @SpringBootApplication public class UsrServerApplication { public static void main(String[] args) { SpringApplication.run(UsrServerApplication.class, args); } @Bean public RestTemplate restTemplate(){ return new RestTemplate(); } }
修改order-service中的OrderService的queryOrderById方法:
@Service public class OrderService { @Autowired private RestTemplate restTemplate; public Order queryOrderById(Long orderId) { // 1.查询订单 Order order = orderMapper.findById(orderId); // TODO 2.查询用户 String url = "http://localhost:8081/user/" order.getUserId(); User user = restTemplate.getForObject(url, User.class); // 3.封装user信息 order.setUser(user); // 4.返回 return order; } }
- 局限
如何获取服务提供者的地址信息?
如果有多个服务提供商,消费者应该如何选择?
消费者如何了解服务提供商的健康状况?
使用RestTemplate远程调用,代码不够优雅,功能相对简单,在学习中Eureka注册中心后,这些问题将得到解决
7.消费者和提供商
服务提供者:暴露接口给其它微服务调用
服务消费者:调用其他微服务提供的界面
其实提供者和消费者的角色是相对的
服务可以同时为服务提供者和消费者服务
8.Eureka注册中心
- Eureka的作用
消费者应该如何获取服务提供商的具体信息?
服务提供商启动时向eureka注册自己的信息,eureka保存这些信息,即步骤1)
消费者根据服务名称向eureka拉取提供者信息,即步骤2)
如果有多个服务提供者,消费者该如何选择?
服务消费者利用负载均衡算法,从服务列表中挑选一个即步骤3)
消费者如何感知服务提供者健康状态?
服务提供者会每隔30秒向EurekaServer发送心跳请求,报告健康状态
eureka会更新记录服务列表信息,心跳不正常会被剔除
消费者就可以拉取到最新的信息
- 总结
在Eureka架构中,微服务角色有两类:
EurekaServer:服务端,注册中心
记录服务信息
心跳监控
EurekaClient:客户端
Provider:服务提供者,例如案例中的 user-service
注册自己的信息到EurekaServer
每隔30秒向EurekaServer发送心跳
Consumer:服务消费者,例如案例中的 order-service
根据服务名称从EurekaServer拉取服务列表
基于服务列表做负载均衡,选中一个微服务后发起远程调用
9.Eureka注册中心实践
- 需求
- 搭建EurekaServer
1)创建项目,引入spring-cloud-starter-netflix-eureka-server的依赖
org.springframework.cloud
spring-cloud-starter-netflix-eureka-server
2)编写启动类,添加@EnableEurekaServer注解
@SpringBootApplication
@EnableEurekaServer
public class EurekaApplication {
public static void main(String[] args) {
SpringApplication.run(EurekaApplication.class, args);
}
}
3)添加application.yml文件,编写下面的配置:
server:
port: 10086
spring:
application:
name: eurekaserver
eureka:
client:
service-url:
defaultZone: http://127.0.0.1:10086/eureka/
需要注意的是, eureka 本身也是一个微服务,也要将自己注册进来
- 注册user-service
user-service服务注册到EurekaServer步骤如下:
1)在user-service项目引入spring-cloud-starter-netflix-eureka-client的依赖,注意这里是用 client
org.springframework.cloud
spring-cloud-starter-netflix-eureka-client
2)在application.yml文件,编写下面的配置:
spring:
application:
name: userservice
eureka:
client:
service-url:
defaultZone: http://127.0.0.1:10086/eureka/
另外,我们可以将user-service多次启动, 模拟多实例部署,但为了避免端口冲突,需要修改端口设置:
- order-service完成服务注册
order-service虽然是消费者,但与user-service一样都是eureka的client端,同样可以实现服务注册:
1)在order-service项目引入spring-cloud-starter-netflix-eureka-client的依赖,注意这里是用 client
org.springframework.cloud
spring-cloud-starter-netflix-eureka-client
2)在application.yml文件,编写下面的配置:
pring:
application:
name: orderservice
eureka:
client:
service-url:
defaultZone: http://127.0.0.1:10086/eureka/
至此, 服务端、客户端搭建完毕,将他们启动:
- order-service完成服务拉取
我们希望order-service可以基于服务名,拉取到user-service的两个实例信息,而后通过负载均衡,选取其中一个实例,实现远程调用
1)在order-service项目的启动类OrderApplication中的RestTemplate添加负载均衡注解:
@MapperScan("cn.itcast.order.mapper")
@SpringBootApplication
public class UsrServerApplication {
public static void main(String[] args) {
SpringApplication.run(UsrServerApplication.class, args);
}
@Bean
@LoadBalanced
public RestTemplate restTemplate(){
return new RestTemplate();
}
}
添加@LoadBalanced 注解,就可以实现负载均衡,后面介绍
2)修改OrderService的代码,修改访问的url路径,用服务名代替ip、端口:
可以通过userservice这个服务名,获得两个实例,然后再两个实例间,做负载均衡
@Service
public class OrderService {
@Autowired
private RestTemplate restTemplate;
public Order queryOrderById(Long orderId) {
// 1.查询订单
Order order = orderMapper.findById(orderId);
// TODO 2.查询用户
// String url = "http://localhost:8081/user/" + order.getUserId();
String url = "http://userservice/user/" + order.getUserId();
User user = restTemplate.getForObject(url, User.class);
// 3.封装user信息
order.setUser(user);
// 4.返回
return order;
}
}
为什么通过userservice服务名,就可以访问,而不需要IP地址+端口号,它的工作流程是什么样的,使用了哪些技术,后边介绍
- 总结
搭建EurekaServer
引入eureka-server依赖
添加@EnableEurekaServer注解
在application.yml中配置eureka地址
服务注册
引入eureka-client依赖
在application.yml中配置eureka地址
服务发现
引入eureka-client依赖
在application.yml中配置eureka地址
给RestTemplate添加@LoadBalanced注解
用服务提供者的服务名称远程调用
10.Ribbon负载均衡
- Ribbon
添加了 @LoadBalanced
注解,即可实现负载均衡功能,这是什么原理呢?
SpringCloud 底层提供了一个名为 Ribbon 的组件,来实现负载均衡功能。
- 负载均衡流程
SpringCloud Ribbon 底层采用了一个拦截器,拦截了 RestTemplate 发出的请求,对地址做了修改。
基本流程如下:
1)拦截我们的 RestTemplate 请求 http://userservice/user/1
2)RibbonLoadBalancerClient 会从请求url中获取服务名称,也就是 user-service
3)DynamicServerListLoadBalancer 根据 user-service 到 eureka 拉取服务列表
4)eureka 返回列表,localhost:8081、localhost:8082
5)IRule 利用内置负载均衡规则,从列表中选择一个,例如 localhost:8081
6)RibbonLoadBalancerClient 修改请求地址,用 localhost:8081 替代 userservice,得到 http://localhost:8081/user/1,发起真实请求
- 负载均衡策略
Ribbon的负载均衡规则是一个叫做IRule的接口来定义的,每一个子接口都是一种规则:
默认的实现就是 ZoneAvoidanceRule
,是一种轮询方案。
- 修改默认负载均衡策略
通过定义IRule实现可以修改负载均衡规则,有两种方式:
1)代码方式:在order-service中的OrderApplication类中,定义一个新的IRule:
@Bean
public IRule randomRule(){
return new RandomRule();
}
2)配置文件方式:在order-service的application.yml文件中,添加新的配置也可以修改规则:
userservice:
ribbon:
NFLoadBalancerRuleClassName: com.netflix.loadbalancer.RandomRule# 负载均衡规则
- 饥饿加载
Ribbon默认是采用懒加载,即第一次访问时才会去创建LoadBalanceClient,请求时间会很长。 而饥饿加载则会在项目启动时创建,降低第一次访问的耗时,通过下面配置开启饥饿加载:
ribbon:
eager-load:
enabled: true # 开启饥饿加载
clients: userservice # 指定对userservice这个服务饥饿加载
- 总结
Ribbon负载均衡规则
规则接口是IRule
默认实现是ZoneAvoidanceRule,根据zone选择服务列表,然后轮询
负载均衡自定义方式
代码方式:配置灵活,但修改时需要重新打包发布
配置方式:直观,方便,无需重新打包发布,但是无法做全局配置
饥饿加载
开启饥饿加载
指定饥饿加载的微服务名称
11.Nacos
有了Eureka,为什么又有了Nacos?
Nacos和Eureka整体结构类似,服务注册、服务拉取、心跳等待,但是也存在一些差异:
- Nacos与eureka的共同点
- 都支持服务注册和服务拉取
- 都支持服务提供者心跳方式做健康检测
- Nacos与Eureka的区别
- Nacos支持服务端主动检测提供者状态:临时实例采用心跳模式,非临时实例采用主动检测模式
- 临时实例心跳不正常会被剔除,非临时实例则不会被剔除
- Nacos支持服务列表变更的消息推送模式,服务列表更新更及时
- Nacos集群默认采用AP方式,当集群中存在非临时实例时,采用CP模式;Eureka采用AP方式
Nacos是阿里巴巴的产品,现在是SpringCloud中的一个组件。相比Eureka功能更加丰富,在国内受欢迎程度较高。
- 下载、安装、启动、访问
1)下载解压
下载地址:https://github.com/alibaba/nacos/releases
压缩包需解压到任意非中文目录下
- bin:启动脚本
- conf:配置文件
2)端口配置
Nacos的默认端口是8848,如果你电脑上的其它进程占用了8848端口,先尝试关闭该进程。
如果无法关闭占用8848端口的进程,也可以进入nacos的conf目录,修改配置文件中的端口:
在nacos安装的conf目录下有几个配置文件,它们分别有不同的作用:
application.properties: springboot默认的配置文件
cluster.conf.example: 集群示例文件
nacos-logback.xml: 日志配置文件
nacos-mysql.sql: mysql数据库运行脚本
schema.sql: Derby数据库运行脚本
3)启动
进入bin目录,结构如下:
然后执行windows命令:
startup.cmd -m standalone
standalone代表着单机模式运行,非集群模式。默认是集群模式,目前就启动一个nacos服务端,所以以单机的形式启动。
4)访问
在浏览器输入地址:http://127.0.0.1:8848/nacos
默认的账号和密码都是nacos,进入后:
- 服务注册到Nacos
1)在cloud-demo父工程中添加spring-cloud-alilbaba的管理依赖:
com.alibaba.cloud
spring-cloud-alibaba-dependencies
2.2.6.RELEASE
pom
import
2)注释掉order-service和user-service中原有的eureka依赖,添加nacos的客户端依赖:
com.alibaba.cloud
spring-cloud-starter-alibaba-nacos-discovery
3)修改user-service、order-service中的application.yml文件,注释eureka地址,添加nacos地址:
spring:
cloud:
nacos:
server-addr: localhost:8848 # nacos 服务端地址
4)重启userService与orderService:
12.Nacos-服务分级存储模型
- 介绍
Nacos服务分级存储模型
一级是服务,例如userservice
二级是集群,例如杭州或上海
三级是实例,例如杭州机房的某台部署了userservice的服务器
多实例组成集群,多集群,提供服务
- 调用顺序
服务调用尽可能选择本地集群的服务
跨集群调用延迟较高 本地集群不可访问时,再去访问其它集群
- 配置
1)修改application.yml,添加如下内容:
spring:
cloud:
nacos:
server-addr: localhost:8848 # nacos 服务端地址
discovery:
cluster-name: HZ # 配置集群名称,也就是机房位置,例如:HZ,杭州
重启两个user-service实例后,我们可以在nacos控制台看到下面结果:
我们再次复制一个user-service启动配置,添加属性:
-Dserver.port=8083 -Dspring.cloud.nacos.discovery.cluster-name=SH
启动UserApplication3后再次查看nacos控制台:
自此, user-service有三个实例,8081、8082在HZ集群,8083在SH集群
- 负载均衡
1)给order-service配置集群信息
修改order-service的application.yml文件,添加集群配置,设置集群为HZ:
spring:
cloud:
nacos:
server-addr: localhost:8848
discovery:
cluster-name: HZ # 集群名称
自此一共有4个实例:
order-service-8080-HZ
user-service-8081-HZ
user-service-8082-HZ
user-service-8083-SH
我们希望,order-service优先选择本地HZ集群,当本地集群无法访问时,再访问外地集群SH
但是通过测试得知,order-service依然采用轮询的方式,依次访问8081、8082、8083
那是因为服务在选择实例时的规则,是由负载均衡的规则来决定,默认的ZoneAvoidanceRule并不能实现根据同集群优先来实现负载均衡。
因此Nacos中提供了一个NacosRule的实现,可以优先从同集群中挑选实例。
2)修改负载均衡规则
在order-service中设置负载均衡的IRule为NacosRule,这个规则优先会寻找与自己同集群的服务:
userservice:
ribbon:
NFLoadBalancerRuleClassName: com.alibaba.cloud.nacos.ribbon.NacosRule # 负载均衡规则
再次测试得知,order-service会优先选择本地HZ集群,随机访问8081、8082,而不再访问8083
停掉8081、8082,模拟宕机
发现order-service依然可以调用user-service,访问的是8083
我们在order-service的控制台可以看到警告信息:
发生了一次跨集群访问,目的是访问HZ集群的user-service,实际访问的SH集群
13.Nacos-权重配置
实际部署中会出现这样的场景:
服务器设备性能有差异,部分实例所在机器性能较好,另一些较差,我们希望性能好的机器承担更多的用户请求 ,但默认情况下NacosRule是同集群内随机挑选,不会考虑机器的性能问题。
Nacos提供了权重配置来控制访问频率,权重越大则访问频率越高
- 配置
1)在Nacos控制台可以设置实例的权重值,首先选中实例后面的编辑按钮
2)将权重设置为0.1,测试可以发现8081被访问到的频率大大降低
- 总结
Nacos控制台可以设置实例的权重值,0~1之间,如果权重修改为0,则该实例永远不会被访问
同集群内的多个实例,权重越高被访问的频率越高
权重设置为0则完全不会被访问
有了权重配置这个功能,在进行服务升级时,提供了一个新的思路,对于三个user-service服务,8081、8082,,8083,我们可以将8081的权重,设置为0后,部署升级,再将8081的权重设置为0.1,释放小部分访问,查看日志,在确认新版本没问题后,权重设置为1,放开访问
14.Nacos-环境隔离
Nacos提供了namespace来实现环境隔离功能。
- nacos中可以有多个namespace
- namespace下可以有group、service等
- 不同namespace之间相互隔离,例如不同namespace的服务互相不可见
- 创建namespace
默认情况下,所有service、data、group都在同一个namespace,名为public:
我们可以点击页面新增按钮,添加一个namespace:
然后,填写表单:
就能在页面看到一个新的namespace:
- 微服务配置namespace
给微服务配置namespace只能通过修改配置来实现。
例如,修改order-service的application.yml文件:
spring:
cloud:
nacos:
server-addr: localhost:8848
discovery:
cluster-name: HZ
namespace: 492a7d5d-237b-46a1-a99a-fa8e98e4b0f9 # 命名空间,填ID
重启order-service后,访问控制台,可以看到下面的结果:
此时访问order-service,因为namespace不同,会导致找不到userservice,控制台会报错:
- 总结
每个namespace都有唯一id
服务设置namespace时要写id而不是名称
不同namespace下的服务互相不可见
15.Nacos-临时实例
Nacos的服务实例分为两种类型:
- 临时实例:如果实例宕机超过一定时间,会从服务列表剔除,默认的类型。
- 非临时实例:如果实例宕机,不会从服务列表剔除,也可以叫永久实例。
配置一个服务实例为永久实例:
spring:
cloud:
nacos:
discovery:
ephemeral: false # 设置为非临时实例
16.Nacos-配置管理
Nacos除了可以做注册中心,同样可以做配置管理来使用。
当微服务部署的实例越来越多,达到数十、数百时,逐个修改微服务配置就会让人抓狂,而且很容易出错。我们需要一种统一配置管理方案,可以集中管理所有实例的配置。
Nacos一方面可以将配置集中管理,另一方可以在配置变更时,及时通知微服务,实现配置的热更新。
- 添加配置
1)在Nacos中添加配置信息:
2)然后在弹出的表单中,填写配置信息:
注意:项目的核心配置,需要热更新的配置才有放到nacos管理的必要。基本不会变更的一些配置还是保存在微服务本地比较好。
- 微服务拉取配置
在未使用nacos配置管理前,配置的获取步骤是:
在使用nacos配置管理后,配置的获取步骤是:微服务要拉取nacos中管理的配置,并且与本地的application.yml配置合并,才能完成项目启动。
但如果尚未读取application.yml,又如何得知nacos地址呢?
因此spring引入了一种新的配置文件:bootstrap.yaml文件,会在application.yml之前被读取,流程如下:
1)在user-service服务中,引入nacos-config的客户端依赖:
com.alibaba.cloud
spring-cloud-starter-alibaba-nacos-config
2)在user-service中添加一个bootstrap.yaml文件,内容如下:
spring:
application:
name: userservice # 服务名称
profiles:
active: dev #开发环境,这里是dev
cloud:
nacos:
server-addr: localhost:8848 # Nacos地址
config:
file-extension: yaml # 文件后缀名
这里会根据spring.cloud.nacos.server-addr获取nacos地址,再根据
`${spring.application.name}-${spring.profiles.active}.${spring.cloud.nacos.config.file-extension}`作为文件id,来读取配置。
本例中,就是去读取`userservice-dev.yaml`:
3)代码中尝试读取nacos配置
使用代码来验证是否拉取成功
在user-service中将pattern.dateformat这个属性注入到UserController中做测试:
package cn.itcast.user.web;
import cn.itcast.user.pojo.User;
import cn.itcast.user.service.UserService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.web.bind.annotation.*;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
@Slf4j
@RestController
@RequestMapping("/user")
public class UserController {
@Autowired
private UserService userService;
@Value("${pattern.dateformat}")
private String dateformat;
@GetMapping("now")
public String now(){
return LocalDateTime.now().format(DateTimeFormatter.ofPattern(dateformat));
}
// ...略
}
在页面访问,可以看到效果:
成功的获取到了,在nacos中添加的配置:pattern.dateformat
- 配置热更新
我们最终的目的,是修改nacos中的配置后,微服务中无需重启即可让配置生效,也就是“配置热更新”。
要实现配置热更新,可以使用两种方式:
方式一
在@Value注入的变量所在类上添加注解@RefreshScope:
方式二
使用@ConfigurationProperties注解代替@Value注解。
在user-service服务中,添加一个类,读取patterrn.dateformat属性:
package cn.itcast.user.config;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;
@Component
@Data
@ConfigurationProperties(prefix = "pattern")
public class PatternProperties {
private String dateformat;
}
在UserController中使用这个类代替@Value:
package cn.itcast.user.web;
import cn.itcast.user.config.PatternProperties;
import cn.itcast.user.pojo.User;
import cn.itcast.user.service.UserService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
@Slf4j
@RestController
@RequestMapping("/user")
public class UserController {
@Autowired
private UserService userService;
@Autowired
private PatternProperties patternProperties;
@GetMapping("now")
public String now(){
return LocalDateTime.now().format(DateTimeFormatter.ofPattern(patternProperties.getDateformat()));
}
// 略
}
总结:
Nacos配置更改后,微服务可以实现热更新,方式:
通过@Value注解注入,结合@RefreshScope来刷新
通过@ConfigurationProperties注入,自动刷新
注意事项:
不是所有的配置都适合放到配置中心,维护起来比较麻烦
建议将一些关键参数,需要运行时调整的参数放到nacos配置中心,一般都是自定义配置
- 配置共享
其实微服务启动时,会去nacos读取多个配置文件,例如:
`[spring.application.name]-[spring.profiles.active].yaml`,例如:userservice-dev.yaml
`[spring.application.name].yaml`,例如:userservice.yaml
而`[spring.application.name].yaml`不包含环境,因此可以被多个环境共享。
无论profile如何变化,[spring.application.name].yaml这个文件一定会加载,因此多环境共享配置可以写入这个文件。
1)添加一个环境共享配置,在nacos中添加一个userservice.yaml文件:
2)在user-service中读取共享配置
在user-service服务中,修改PatternProperties类,读取新添加的属性:
在user-service服务中,修改UserController,添加一个方法:
3)运行两个UserApplication,使用不同的profile
修改UserApplication2这个启动项,改变其profile值:
这样,UserApplication(8081)使用的profile是dev,UserApplication2(8082)使用的profile是test。
启动UserApplication时的日志输出:
启动和serApplication2时的日志输出:
访问http://localhost:8081/user/prop,结果:
访问http://localhost:8082/user/prop,结果:
可以看出来,不管是dev,还是test环境,都读取到了envSharedValue这个属性的值,但是,dateformat这个配置,dev读到了,test没有读到。
- 配置共享的优先级
当nacos、服务本地同时出现相同属性时,优先级有高低之分:
[服务名]-[环境].yaml >[服务名].yaml > 本地配置
不同微服务之间可以共享配置文件,通过下面的两种方式来指定:
方式一:
spring:
application:
name: userservice # 服务名称
profiles:
active: dev # 环境,
cloud:
nacos:
server-addr: localhost:8848 # Nacos地址
config:
file-extension: yaml # 文件后缀名
extends-configs: # 多微服务间共享的配置列表
- dataId: extend.yaml # 要共享的配置文件id
方式二:
spring:
application:
name: userservice # 服务名称 profiles:
active: dev # 环境,
cloud:
nacos:
server-addr: localhost:8848 # Nacos地址
config:
file-extension: yaml # 文件后缀名
extends-configs: # 多微服务间共享的配置列表
- dataId: extend.yaml # 要共享的配置文件id
多种配置的优先级:
总结:
微服务默认读取的配置文件:
[服务名]-[spring.profile.active].yaml,默认配置
[服务名].yaml,多环境共享
不同微服务共享的配置文件:
通过shared-configs指定
通过extension-configs指定
优先级:环境配置 >服务名.yaml > extension-config > extension-configs > shared-configs > 本地配置
17.Nacos集群
测试时,使用单点Nacos,没有问题,但是在企业实际使用时,就必须使用集群,实现高可用
- 集群结构图
官方给出的Nacos集群图:
其中包含3个nacos节点,然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
我们计划的集群结构:
三个nacos节点的地址:
| 节点 | ip | port |
| ---------- | ------------------- | ------- |
| nacos1 | 192.168.150.1 | 8845 |
| nacos2 | 192.168.150.1 | 8846 |
| nacos3 | 192.168.150.1 | 8847 |
- 搭建集群
搭建集群的基本步骤:
- 搭建数据库,初始化数据库表结构
- 下载nacos安装包
- 配置nacos
- 启动nacos集群
- nginx反向代理
1)初始化数据库
搭建一个mysql的集群,多个nocos节点,都来访问这个mysql集群,完成数据读写,实现多节点nacos的数据共享
Nacos 默认数据存储在内嵌数据库 Derby 中,不属于生产可用的数据库。
官方推荐的最佳实践是使用带有主从的高可用数据库集群,主从模式的高可用数据库。
这里我们以单点的数据库为例。
首先新建一个数据库,命名为 nacos,而后导入下面的 SQL
CREATE TABLE `config_info` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(255) DEFAULT NULL,
`content` longtext NOT NULL COMMENT 'content',
`md5` varchar(32) DEFAULT NULL COMMENT 'md5',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
`src_user` text COMMENT 'source user',
`src_ip` varchar(50) DEFAULT NULL COMMENT 'source ip',
`app_name` varchar(128) DEFAULT NULL,
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
`c_desc` varchar(256) DEFAULT NULL,
`c_use` varchar(64) DEFAULT NULL,
`effect` varchar(64) DEFAULT NULL,
`type` varchar(64) DEFAULT NULL,
`c_schema` text,
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfo_datagrouptenant` (`data_id`,`group_id`,`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info_aggr */
/******************************************/
CREATE TABLE `config_info_aggr` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(255) NOT NULL COMMENT 'group_id',
`datum_id` varchar(255) NOT NULL COMMENT 'datum_id',
`content` longtext NOT NULL COMMENT '内容',
`gmt_modified` datetime NOT NULL COMMENT '修改时间',
`app_name` varchar(128) DEFAULT NULL,
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfoaggr_datagrouptenantdatum` (`data_id`,`group_id`,`tenant_id`,`datum_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='增加租户字段';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info_beta */
/******************************************/
CREATE TABLE `config_info_beta` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(128) NOT NULL COMMENT 'group_id',
`app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
`content` longtext NOT NULL COMMENT 'content',
`beta_ips` varchar(1024) DEFAULT NULL COMMENT 'betaIps',
`md5` varchar(32) DEFAULT NULL COMMENT 'md5',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
`src_user` text COMMENT 'source user',
`src_ip` varchar(50) DEFAULT NULL COMMENT 'source ip',
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfobeta_datagrouptenant` (`data_id`,`group_id`,`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info_beta';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_info_tag */
/******************************************/
CREATE TABLE `config_info_tag` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(128) NOT NULL COMMENT 'group_id',
`tenant_id` varchar(128) DEFAULT '' COMMENT 'tenant_id',
`tag_id` varchar(128) NOT NULL COMMENT 'tag_id',
`app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
`content` longtext NOT NULL COMMENT 'content',
`md5` varchar(32) DEFAULT NULL COMMENT 'md5',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
`src_user` text COMMENT 'source user',
`src_ip` varchar(50) DEFAULT NULL COMMENT 'source ip',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_configinfotag_datagrouptenanttag` (`data_id`,`group_id`,`tenant_id`,`tag_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_info_tag';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = config_tags_relation */
/******************************************/
CREATE TABLE `config_tags_relation` (
`id` bigint(20) NOT NULL COMMENT 'id',
`tag_name` varchar(128) NOT NULL COMMENT 'tag_name',
`tag_type` varchar(64) DEFAULT NULL COMMENT 'tag_type',
`data_id` varchar(255) NOT NULL COMMENT 'data_id',
`group_id` varchar(128) NOT NULL COMMENT 'group_id',
`tenant_id` varchar(128) DEFAULT '' COMMENT 'tenant_id',
`nid` bigint(20) NOT NULL AUTO_INCREMENT,
PRIMARY KEY (`nid`),
UNIQUE KEY `uk_configtagrelation_configidtag` (`id`,`tag_name`,`tag_type`),
KEY `idx_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='config_tag_relation';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = group_capacity */
/******************************************/
CREATE TABLE `group_capacity` (
`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键ID',
`group_id` varchar(128) NOT NULL DEFAULT '' COMMENT 'Group ID,空字符表示整个集群',
`quota` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '配额,0表示使用默认值',
`usage` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '使用量',
`max_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个配置大小上限,单位为字节,0表示使用默认值',
`max_aggr_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '聚合子配置最大个数,,0表示使用默认值',
`max_aggr_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个聚合数据的子配置大小上限,单位为字节,0表示使用默认值',
`max_history_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最大变更历史数量',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_group_id` (`group_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='集群、各Group容量信息表';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = his_config_info */
/******************************************/
CREATE TABLE `his_config_info` (
`id` bigint(64) unsigned NOT NULL,
`nid` bigint(20) unsigned NOT NULL AUTO_INCREMENT,
`data_id` varchar(255) NOT NULL,
`group_id` varchar(128) NOT NULL,
`app_name` varchar(128) DEFAULT NULL COMMENT 'app_name',
`content` longtext NOT NULL,
`md5` varchar(32) DEFAULT NULL,
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP,
`src_user` text,
`src_ip` varchar(50) DEFAULT NULL,
`op_type` char(10) DEFAULT NULL,
`tenant_id` varchar(128) DEFAULT '' COMMENT '租户字段',
PRIMARY KEY (`nid`),
KEY `idx_gmt_create` (`gmt_create`),
KEY `idx_gmt_modified` (`gmt_modified`),
KEY `idx_did` (`data_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='多租户改造';
/******************************************/
/* 数据库全名 = nacos_config */
/* 表名称 = tenant_capacity */
/******************************************/
CREATE TABLE `tenant_capacity` (
`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键ID',
`tenant_id` varchar(128) NOT NULL DEFAULT '' COMMENT 'Tenant ID',
`quota` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '配额,0表示使用默认值',
`usage` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '使用量',
`max_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个配置大小上限,单位为字节,0表示使用默认值',
`max_aggr_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '聚合子配置最大个数',
`max_aggr_size` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '单个聚合数据的子配置大小上限,单位为字节,0表示使用默认值',
`max_history_count` int(10) unsigned NOT NULL DEFAULT '0' COMMENT '最大变更历史数量',
`gmt_create` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
`gmt_modified` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '修改时间',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='租户容量信息表';
CREATE TABLE `tenant_info` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'id',
`kp` varchar(128) NOT NULL COMMENT 'kp',
`tenant_id` varchar(128) default '' COMMENT 'tenant_id',
`tenant_name` varchar(128) default '' COMMENT 'tenant_name',
`tenant_desc` varchar(256) DEFAULT NULL COMMENT 'tenant_desc',
`create_source` varchar(32) DEFAULT NULL COMMENT 'create_source',
`gmt_create` bigint(20) NOT NULL COMMENT '创建时间',
`gmt_modified` bigint(20) NOT NULL COMMENT '修改时间',
PRIMARY KEY (`id`),
UNIQUE KEY `uk_tenant_info_kptenantid` (`kp`,`tenant_id`),
KEY `idx_tenant_id` (`tenant_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin COMMENT='tenant_info';
CREATE TABLE `users` (
`username` varchar(50) NOT NULL PRIMARY KEY,
`password` varchar(500) NOT NULL,
`enabled` boolean NOT NULL
);
CREATE TABLE `roles` (
`username` varchar(50) NOT NULL,
`role` varchar(50) NOT NULL,
UNIQUE INDEX `idx_user_role` (`username` ASC, `role` ASC) USING BTREE
);
CREATE TABLE `permissions` (
`role` varchar(50) NOT NULL,
`resource` varchar(255) NOT NULL,
`action` varchar(8) NOT NULL,
UNIQUE INDEX `uk_role_permission` (`role`,`resource`,`action`) USING BTREE
);
INSERT INTO users (username, password, enabled) VALUES ('nacos', '$2a$10$EuWPZHzz32dJN7jexM34MOeYirDdFAZm2kuWj7VEOJhhZkDrxfvUu', TRUE);
INSERT INTO roles (username, role) VALUES ('nacos', 'ROLE_ADMIN');
2)下载nacos
nacos在GitHub上的下载地址:https://github.com/alibaba/nacos/tags
3)配置Nacos
将这个包解压到任意非中文目录下,如图:
目录说明:
- bin:启动脚本
- conf:配置文件
进入nacos的conf目录,修改配置文件cluster.conf.example,重命名为cluster.conf:
然后添加内容:
127.0.0.1:8845
127.0.0.1.8846
127.0.0.1.8847
然后修改application.properties文件,添加数据库配置
spring.datasource.platform=mysql
db.num=1
db.url.0=jdbc:mysql://127.0.0.1:3306/nacos?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true&useUnicode=true&useSSL=false&serverTimezone=UTC
db.user.0=root
db.password.0=123
将nacos文件夹复制三份,分别命名为:nacos1、nacos2、nacos3
然后分别修改三个文件夹中的application.properties,
nacos1:
server.port=8845
nacos2:
server.port=8846
nacos3:
server.port=8847
在bin目录下,分别启动三个nacos节点:
startup.cmd
- nginx反向代理
下载nginx安装包,解压到任意非中文目录下:
修改conf/nginx.conf文件,配置如下:
upstream nacos-cluster {
server 127.0.0.1:8845;
server 127.0.0.1:8846;
server 127.0.0.1:8847;
}
server {
listen 80;
server_name localhost;
location /nacos {
proxy_pass http://nacos-cluster;
}
}
nigix会对这三个地址做负均衡,127.0.0.1:8845,127.0.0.1:8846,127.0.0.1:8847;
启动 nginx,在浏览器访问:http://localhost/nacos
至此,集群搭建成功
那么java代码该如何修改呢
在代码中的 application.yml 文件配置改为如下:
端口由以前的8848,改为80
spring:
cloud:
nacos:
server-addr: localhost:80 # Nacos地址
- 实际部署时,需要给做反向代理的nginx服务器设置一个域名,这样后续如果有服务器迁移nacos的客户端也无需更改配置.
- Nacos的各个节点应该部署到多个不同服务器,做好容灾和隔离
18.Feign
先来看我们以前利用RestTemplate发起远程调用的代码:
存在下面的问题:
代码可读性差,编程体验不统一
参数复杂URL难以维护
Feign是一个声明式的http客户端,官方地址:https://github.com/OpenFeign/feign
其作用就是帮助我们优雅的实现http请求的发送,解决上面提到的问题。
- Fegin的使用
1)引入依赖
我们在order-service服务的pom文件中引入feign的依赖:
org.springframework.cloud
spring-cloud-starter-openfeign
2)添加注解
在order-service的启动类添加注解开启Feign的功能:
3)编写Feign的客户端
在order-service中新建一个接口,内容如下:
package cn.itcast.order.client;
import cn.itcast.order.pojo.User;
import org.springframework.cloud.openfeign.FeignClient;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.PathVariable;
@FeignClient("userservice")
public interface UserClient {
@GetMapping("/user/{id}")
User findById(@PathVariable("id") Long id);
}
这个客户端主要是基于SpringMVC的注解来声明远程调用的信息,比如:
- 服务名称:userservice
- 请求方式:GET
- 请求路径:/user/{id}
- 请求参数:Long id
- 返回值类型:User
这样,Feign就可以帮助我们发送http请求,无需自己使用RestTemplate来发送了。
4)测试
修改order-service中的OrderService类中的queryOrderById方法,使用Feign客户端代替RestTemplate:
5)总结
使用Feign的步骤:
① 引入依赖
② 添加@EnableFeignClients注解
③ 编写FeignClient接口
④ 使用FeignClient中定义的方法代替RestTemplate
19.Feign自定义的配置
Feign运行自定义配置来覆盖默认配置,可以修改的配置如下:
一般情况下,默认值就能满足我们使用,如果要自定义时,只需要创建自定义的@Bean覆盖默认Bean即可。
配置Feign日志有两种方式:
方式一:配置文件方式
全局生效:
feign:
client:
config:
default: # 这里用default就是全局配置,如果是写服务名称,则是针对某个微服务的配置
loggerLevel: FULL # 日志级别
局部生效:
feign:
client:
config:
userservice: # 针对某个微服务的配置
loggerLevel: FULL # 日志级别
日志的级别分为四种:
- NONE:不记录任何日志信息,这是默认值。
- BASIC:仅记录请求的方法,URL以及响应状态码和执行时间
- HEADERS:在BASIC的基础上,额外记录了请求和响应的头信息
- FULL:记录所有请求和响应的明细,包括头信息、请求体、元数据。
方式二:java代码方式
先声明一个类,然后声明一个Logger.Level的对象
public class DefaultFeignConfiguration {
@Bean
public Logger.Level feignLogLevel(){
return Logger.Level.BASIC; // 日志级别为BASIC
}
}
如果要**全局生效**,将其放到启动类的@EnableFeignClients这个注解中:
@EnableFeignClients(defaultConfiguration = DefaultFeignConfiguration .class)
如果是**局部生效**,则把它放到对应的@FeignClient这个注解中:
@FeignClient(value = "userservice", configuration = DefaultFeignConfiguration .class)
总结
Feign的日志配置:
方式一是配置文件,feign.client.config.xxx.loggerLevel
如果xxx是default则代表全局
如果xxx是服务名称,例如userservice则代表某服务
方式二是java代码配置Logger.Level这个Bean
如果在@EnableFeignClients注解声明则代表全局
如果在@FeignClient注解中声明则代表某服务
20.Feign的性能优化
- 优化
Feign底层发起http请求,依赖于其它的框架。其底层客户端实现包括:
•URLConnection:默认实现,不支持连接池
•Apache HttpClient :支持连接池
•OKHttp:支持连接池
因此提高Feign的性能主要手段就是使用**连接池**代替默认的URLConnection。
这里我们用Apache的HttpClient来演示。
1)引入依赖
在order-service的pom文件中引入Apache的HttpClient依赖:
io.github.openfeign
feign-httpclient
2)配置连接池
在order-service的application.yml中添加配置:
feign:
client:
config:
default: # default全局的配置
loggerLevel: BASIC # 日志级别,BASIC就是基本的请求和响应信息
httpclient:
enabled: true # 开启feign对HttpClient的支持
max-connections: 200 # 最大的连接数
max-connections-per-route: 50 # 每个路径的最大连接数
接下来,在FeignClientFactoryBean中的loadBalance方法中打断点:
Debug方式启动order-service服务,可以看到这里的client,底层就是Apache HttpClient:
总结,Feign的优化:
1.日志级别尽量用basic
2.使用HttpClient或OKHttp代替URLConnection
① 引入feign-httpClient依赖
② 配置文件开启httpClient功能,设置连接池参数
- 实践
feign客户端:
UserController:
察可以发现,Feign的客户端与服务提供者的controller代码非常相似
有没有一种办法简化这种重复的代码编写呢?
方式一:继承方式
一样的代码可以通过继承来共享:
1)定义一个API接口,利用定义方法,并基于SpringMVC注解做声明。
2)Feign客户端和Controller都集成改接口
优点:
- 简单
- 实现了代码共享
缺点:
- 服务提供方、服务消费方紧耦合
- 参数列表中的注解映射并不会继承,因此Controller中必须再次声明方法、参数列表、注解
方式二:抽取方式
将Feign的Client抽取为独立模块,并且把接口有关的POJO、默认的Feign配置都放到这个模块中,提供给所有消费者使用。
例如,将UserClient、User、Feign的默认配置都抽取到一个feign-api包中,所有微服务引用该依赖包,即可直接使用。
显然,抽取的方式更加优雅
- 抽取实践
1)抽取
首先创建一个module,命名为feign-api:
项目结构:
在feign-api中然后引入feign的starter依赖
org.springframework.cloud
spring-cloud-starter-openfeign
然后,order-service中编写的UserClient、User、DefaultFeignConfiguration都复制到feign-api项目中
2)在order-service中使用feign-api
首先,删除order-service中的UserClient、User、DefaultFeignConfiguration等类或接口。
在order-service的pom文件中中引入feign-api的依赖:
cn.itcast.demo
feign-