Java学习者

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.4255555555555556" src="/upload/ed64cf7709d5f76e6ec0862e3473bc87.png" data-type="png" data-w="900" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;"> <figcaption style="margin-top: 5px;text-align: center;color: #888;font-size: 14px;"> istio-02.png </figcaption> </figure> 在上一篇 <a target="_blank" href="http://mp.weixin.qq.com/s?__biz=MzIyMzgyODkxMQ==&mid=2247486477&idx=1&sn=1483687ccbc17887969df5ad3d2a364e&chksm=e81902cddf6e8bdba9f501fc94fe2372f5da5cfe5b63d1fcb1fd16da87ce8f4096626015f972&scene=21#wechat_redirect" textvalue="k8s-服务网‍格实战-入门Istio" linktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="2">k8s-服务网格实战-入门Istio</a>中分享了如何安装部署 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Istio</code>，同时可以利用 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Istio</code> 实现 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">gRPC</code> 的负载均衡。 今天我们更进一步，深入了解使用 Istio 的功能。<img class="rich_pages wxw-img" data-ratio="0.7527624309392266" src="/upload/d0f15a9914b333e0b1367aeb98114360.png" data-type="png" data-w="724" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;">从 Istio 的流量模型中可以看出：Istio 支持管理集群的出入口请求（gateway），同时也支持管理集群内的 mesh 流量，也就是集群内服务之间的请求。 本次先讲解集群内部的请求，配合实现以下两个功能： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 灰度发布（对指定的请求分别路由到不同的 service 中） </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 配置 service 的请求权重 </section></li> </ul> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">灰度发布</h2> 在开始之前会部署两个 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">deployment</code> 和一个 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">service</code>，同时这两个 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">deployment</code> 所关联的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Pod</code> 分别对应了两个不同的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">label</code>，由于在灰度的时候进行分组。<img class="rich_pages wxw-img" data-ratio="0.7447698744769874" src="/upload/f186501145bec6f041130c1b020c233f.png" data-type="png" data-w="478" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;"> 使用这个 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">yaml</code> 会部署所需要的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">deployment</code> 和 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">service</code>。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.14437948823614244") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">kubectl apply -f https://raw.githubusercontent.com/crossoverJie/k8s-combat/main/deployment/istio-mesh.yaml  </code></pre> <hr data-tool="mdnice编辑器" style="height: 1px;margin-top: 10px;margin-bottom: 10px;border-right: none;border-bottom: none;border-left: none;border-top-style: solid;border-top-color: black;"> 首先设想下什么情况下我们需要灰度发布，一般是某个重大功能的测试，只对部分进入内测的用户开放入口。 假设我们做的是一个 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">App</code>，我们可以对拿到了内测包用户的所有请求头中加入一个版本号。 比如 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">version=200</code> 表示新版本，<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">version=100</code> 表示老版本。同时在服务端会将这个版本号打印出来，用于区分请求是否进入了预期的 Pod。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.28507124242920123") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">// Client  version := r.URL.Query().Get("version")   name := "world"   ctx, cancel := context.WithTimeout(context.Background(), time.Second)   md := metadata.New(map[string]string{       "version": version,   })   ctx = metadata.NewOutgoingContext(ctx, md)   defer cancel()   g, err := c.SayHello(ctx, &pb.HelloRequest{Name: name}) // Server func (s *server) SayHello(ctx context.Context, in *pb.HelloRequest) (*pb.HelloReply, error) {       md, ok := metadata.FromIncomingContext(ctx)       var version string       if ok {          version = md.Get("version")[0]       }    log.Printf("Received: %v, version: %s", in.GetName(), version)       name, _ := os.Hostname()       return &pb.HelloReply{Message: fmt.Sprintf("hostname:%s, in:%s, version:%s", name, in.Name, version)}, nil   } </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">对 service 分组</h3> 进行灰度测试时往往需要新增部署一个灰度服务，这里我们称为 v2（也就是上图中的 Pod2）。 同时需要将 v1 和 v2 分组： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.23178283467547556") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">apiVersion: networking.istio.io/v1alpha3   kind: DestinationRule   metadata:     name: k8s-combat-service-ds   spec:     host: k8s-combat-service-istio-mesh     subsets:       - name: v1         labels:           app: k8s-combat-service-v1       - name: v2         labels:           app: k8s-combat-service-v2 </code></pre> 这里我们使用 Istio 的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">DestinationRule</code> 定义 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">subset</code>，也就是将我们的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">service</code> 下的 Pod 分为 v1/v2。 <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;border-left-color: rgba(0, 0, 0, 0.4);background: rgba(0, 0, 0, 0.05);color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;"> 使用标签 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">app</code> 进行分组 </blockquote> 注意这里的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">host: k8s-combat-service-istio-mesh</code> 通常配置的是 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">service</code> 名称。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.9967320619718949") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">apiVersion: v1   kind: Service   metadata:     name: k8s-combat-service-istio-mesh   spec:     selector:       appId: "12345"     type: ClusterIP     ports:       - port: 8081         targetPort: 8081         name: app       - name: grpc         port: 50051         targetPort: 50051 </code></pre> 也就是这里 service 的名称，同时也支持配置为 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">host: k8s-combat-service-istio-mesh.default.svc.cluster.local</code>，如果使用的简写<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Istio</code> 会根据当前指定的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">namespace</code> 进行解析。 <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;border-left-color: rgba(0, 0, 0, 0.4);background: rgba(0, 0, 0, 0.05);color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;"> Istio 更推荐使用全限定名替代我们这里的简写，从而避免误操作。 </blockquote> 当然我们也可以在 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">DestinationRule</code> 中配置负载均衡的策略，这里我们先略过： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.24608480674351263") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">apiVersion: networking.istio.io/v1alpha3   kind: DestinationRule   metadata:     name: k8s-combat-service-ds   spec:     host: k8s-combat-service-istio-mesh    trafficPolicy:     loadBalancer:       simple: ROUND_ROBIN   </code></pre> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.24067796610169492" src="/upload/afb1cfa96e033adf1bc846b0948b60ee.png" data-type="png" data-w="885" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;"> <figcaption style="margin-top: 5px;text-align: center;color: #888;font-size: 14px;"> image.png </figcaption> </figure> <hr data-tool="mdnice编辑器" style="height: 1px;margin-top: 10px;margin-bottom: 10px;border-right: none;border-bottom: none;border-left: none;border-top-style: solid;border-top-color: black;"> 这样我们就定义好了两个分组： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> v1：app: k8s-combat-service-v1 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> v2：app: k8s-combat-service-v2 </section></li> </ul> 之后就可以配置路由规则将流量分别指定到两个不同的组中，这里我们使用 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">VirtualService</code> 进行配置。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.5207345538672017") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">apiVersion: networking.istio.io/v1alpha3   kind: VirtualService   metadata:     name: k8s-combat-service-vs   spec:     gateways:       - mesh     hosts:       - k8s-combat-service-istio-mesh # match this host http:     - name: v1       match:         - headers:             version:               exact: '100'       route:         - destination:             host: k8s-combat-service-istio-mesh             subset: v1     - name: v2       match:         - headers:             version:               exact: '200'       route:         - destination:             host: k8s-combat-service-istio-mesh             subset: v2     - name: default       route:         - destination:             host: k8s-combat-service-istio-mesh             subset: v1 </code></pre> 这个规则很简单，会检测 http 协议的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">header</code> 中的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">version</code> 字段值，如果为 100 这路由到 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">subset=v1</code> 这个分组的 Pod 中，同理为 200 时则路由到 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">subset=v2</code> 这个分组的 Pod 中。 当没有匹配到 header 时则进入默认的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">subset:v1</code> <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;border-left-color: rgba(0, 0, 0, 0.4);background: rgba(0, 0, 0, 0.05);color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">gRPC</code> 也是基于 http 协议，它的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">metadata</code> 也就对应了 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">http</code> 协议中的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">header</code>。 </blockquote> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">header=100</h3> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.8624931468288237") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">Greeting: hostname:k8s-combat-service-v1-5b998dc8c8-hkb72, in:world, version:100istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=100" Greeting: hostname:k8s-combat-service-v1-5b998dc8c8-hkb72, in:world, version:100istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=100" Greeting: hostname:k8s-combat-service-v1-5b998dc8c8-hkb72, in:world, version:100istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=100" Greeting: hostname:k8s-combat-service-v1-5b998dc8c8-hkb72, in:world, version:100istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=100" </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">header=200</h3> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.8929483579029969") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" </code></pre> 根据以上的上面的测试请求来看，只要我们请求头里带上指定的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">version</code> 就会被路由到指定的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Pod</code> 中。 利用这个特性我们就可以在灰度验证的时候单独发一个灰度版本的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Deployment</code>，同时配合客户端指定版本就可以实现灰度功能了。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">配置权重</h2> 同样基于 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">VirtualService</code> 我们还可以对不同的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">subset</code> 分组进行权重配置。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.8932949141508217") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">apiVersion: networking.istio.io/v1alpha3   kind: VirtualService   metadata:     name: k8s-combat-service-vs   spec:     gateways:       - mesh     hosts:       - k8s-combat-service-istio-mesh # match this host     http:       - match:           - uri:               exact: /helloworld.Greeter/SayHello         route:           - destination:               host: k8s-combat-service-istio-mesh               subset: v1             weight: 10           - destination:               host: k8s-combat-service-istio-mesh               subset: v2             weight: 90         timeout: 5000ms </code></pre> 这里演示的是针对 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">SayHello</code> 接口进行权重配置（当然还有多种匹配规则），90% 的流量会进入 v2 这个 subset，也就是在 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">k8s-combat-service-istio-mesh</code> service 下的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">app: k8s-combat-service-v2</code> Pod。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/IJdPq631CVGbnku2DTfwNWvf8HiaJKGu99OHC9iciahHv4mBF4EuaaXqRHUIZjDQaITc4ZxTAoUQjMeO6mFCsPJ1QYCCQVib1hSr/640?wx_fmt=svg&random=0.47102790728230604") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-**v1**-5b998dc8c8-hkb72, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ curl "http://127.0.0.1:8081/grpc_client?name=k8s-combat-service-istio-mesh&version=200" Greeting: hostname:k8s-combat-service-v2-5db566fb76-xj7j6, in:world, version:200istio-proxy@k8s-combat-service-v1-5b998dc8c8-hkb72:/$ </code></pre> 经过测试会发现大部分的请求都会按照我们的预期进入 v2 这个分组。 当然除之外之外我们还可以： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 超时时间 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 故障注入 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 重试具体的配置可以参考 Istio 官方文档： <img class="rich_pages wxw-img" data-ratio="0.9446952595936795" src="/upload/6cfb0127cb5304839024eb3a42cd87aa.png" data-type="png" data-w="886" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;">当然在一些云平台也提供了可视化的页面，可以更直观的使用。 <img class="rich_pages wxw-img" data-ratio="1.4907407407407407" src="/upload/3a36bb6189a1eaff3fb911096be68ba8.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;"> </section></li> </ul> <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;border-left-color: rgba(0, 0, 0, 0.4);background: rgba(0, 0, 0, 0.05);color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;"> 以上是阿里云的截图 </blockquote> 但他们的管理的资源都偏 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">kubernetes</code>，一般是由运维或者是 DevOps 来配置，不方便开发使用，所以还需要一个介于云厂商和开发者之间的管理发布平台，可以由开发者以项目维度管理维护这些功能。 本文的所有源码在这里可以访问：https://github.com/crossoverJie/k8s-combat </section>

组件更少，性能更高：Apache Doris 取代 ClickHouse、MySQL、Presto 和 HBase

作者：微信小助手

<p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;visibility: visible;">这篇文章是关于构建统一的 OLAP 平台。一家保险公司试图构建一个数据仓库，可以承担所有面向客户、分析师和管理层的数据分析工作负载。主要任务包括： <ul class="list-paddingleft-1" style="list-style-type: disc;visibility: visible;"> <li style="visibility: visible;"><p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;visibility: visible;">保险合同自助查询：保险客户通过合同 ID 查询明细。并且支持保险期限、保险类型和索赔金额等过滤器。</li> <li style="visibility: visible;"><p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;visibility: visible;">多维度分析：分析师需要根据不同的数据维度开发报告，从而提取洞察以促进产品创新和反欺诈工作。</li> <li style="visibility: visible;"><p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;visibility: visible;">仪表板：为了创建保险销售趋势的可视化概述以及不同指标的水平和垂直比较。</li> </ul> <h1 data-selectable-paragraph="" style="box-sizing: inherit;font-family: sohne, "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(36, 36, 36);line-height: 30px;letter-spacing: -0.016em;font-weight: 600;font-size: 24px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;visibility: visible;">组件密集型数据架构</h1> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;visibility: visible;">用户从 Lambda 架构入手，将数据管道拆分为批处理链路和流处理链路。对于实时数据流，他们应用 Flink CDC ；对于批量导入，他们结合了 Sqoop、Python 和 DataX 来构建自己的数据集成工具，名为 Hisen。 <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;visibility: visible;"><span style="color: rgba(0, 0, 0, 0.8);font-family: medium-content-sans-serif-font, -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, Oxygen, Ubuntu, Cantarell, "Open Sans", "Helvetica Neue", sans-serif;font-size: medium;letter-spacing: normal;visibility: visible;"><img class="rich_pages wxw-img" data-ratio="0.5" src="/upload/2619bb28bdc4aa1d535ce403e2929465.png" data-type="png" data-w="1050" height="350" style="color: rgba(0, 0, 0, 0.8);font-family: medium-content-sans-serif-font, -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, Oxygen, Ubuntu, Cantarell, "Open Sans", "Helvetica Neue", sans-serif;font-size: medium;letter-spacing: normal;box-sizing: inherit;vertical-align: middle;visibility: visible !important;width: 677px !important;height: auto !important;" width="700"> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;visibility: visible;"> 然后，实时数据和离线数据在数据仓库层会合，该层由五个组件组成。 </section> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;"><span style="color: rgb(36, 36, 36);font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 16px;letter-spacing: -0.06px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">ClickHouse <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 数据仓库采用扁平表设计，ClickHouse 在扁平表读取方面表现出色。但随着业务的发展，面临两个方面的挑战： </section> <ul class="list-paddingleft-1" style="list-style-type: disc;"> <li> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 为了支持跨表连接和点查询，用户需要星型模式，这在 ClickHouse 中很难实现。 </section></li> <li> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 保险合同的变更需要在数据仓库中实时更新。 在 ClickHouse 中，通过重新创建一个平面表来覆盖旧表来完成，但速度不够快。 </section></li> </ul> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">MySQL <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 计算完成后，数据指标存储在 MySQL 中。随着数据规模的增长，MySQL 开始陷入困境，出现执行时间延长、抛出错误等问题。 </section> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">Apache Hive + Presto <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> Hive是批处理环节中的主要执行者。可以转换、聚合、查询离线数据。Presto 是 Hive 的补充，用于交互式分析。 </section> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">Apache HBase <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> HBase 承担主键查询。它从 MySQL 和 Hive 读取客户状态，包括客户信用、承保期限和保险金额。由于 HBase 本身不支持二级索引，因此读取非主键列的能力有限，但可以通过开源Phoenix组件或“通过hbase协处理器把二级索引自动同步至elasticsearch”来实现二级索引的功能。另外，作为 NoSQL 数据库，HBase 不支持 SQL 语句，对SQL语句的支持可以通过开源Phoenix组件或“HBase SDK 3.0.0发布，让HBase的使用变得更简捷”：https://github.com/CCweixiao/hbase-sdk或https://gitee.com/weixiaotome/hbase-sdk。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 这些组件必须协同工作才能满足所有需求，使得数据仓库变得难以处理，不容易上手。因为工程师必须接受所有这些组件的培训。此外，架构的复杂性也增加了延迟的风险。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 因此，用户试图寻找一种能够满足更多要求的工具。他们首先需要的是实时能力，包括实时写入、实时更新、实时响应数据查询。其次，需要在数据分析方面更加灵活，以支持面向客户的自助查询，如多维分析、大表连接查询、主键索引、上滚和下钻等。然后，对于批处理，还希望数据写入具有高吞吐量。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 用户最终决定选择  Apache Doris 。 </section> <h1 data-selectable-paragraph="" style="box-sizing: inherit;font-family: sohne, "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(36, 36, 36);line-height: 30px;letter-spacing: -0.016em;font-weight: 600;font-size: 24px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">用 Apache Doris 替换四个组件</h1> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> Apache Doris 能够进行实时和离线数据分析，同时支持高吞吐量的交互式分析和高并发的点查询。这就是为什么它可以取代 ClickHouse、MySQL、Presto 和 Apache HBase，作为整个数据系统的统一查询网关。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> <img class="rich_pages wxw-img" data-ratio="0.5361904761904762" data-type="png" data-w="1050" height="376" src="/upload/25d40b5cdff7e917dce1fa4aa0cd3a86.png" style="color: rgba(0, 0, 0, 0.8);font-family: medium-content-sans-serif-font, -apple-system, BlinkMacSystemFont, "Segoe UI", Roboto, Oxygen, Ubuntu, Cantarell, "Open Sans", "Helvetica Neue", sans-serif;font-size: medium;letter-spacing: normal;box-sizing: inherit;vertical-align: middle;width: 677px !important;height: auto !important;visibility: visible !important;" width="700"> </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 改进后的数据管道是一个更加干净的 Lambda 架构。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> Apache Doris 提供了多种数据摄取方法。数据写入速度很快。除此之外，它还实现了 Merge-on-Write 以提高并发点查询的性能。 </section> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">降低成本 <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 新的架构降低了用户的人力成本。一方面，更简单的数据架构使得维护更容易；另一方面，开发者不再需要在数据服务 API 中加入实时和离线数据。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 用户还可以使用 Doris 省钱，因为它支持分层存储。它允许用户将大量很少访问的历史数据放入对象存储中，这样囤积数据的成本要低得多。 </section> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">更高效率 <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> Apache Doris 的 QPS 可以达到万级，毫秒级响应数十亿点查询，面对客户的查询也能轻松应对。将热数据与冷数据分开的分层存储也提高了查询效率。 </section> <p style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">服务可用性 <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 作为存储、计算和数据服务的统一数据仓库，Apache Doris 可以轻松实现灾难恢复。由于组件较少，他们不必担心数据丢失或重复。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> Apache Doris 的跨集群复制（CCR）能力是用户服务可用性的重要保障。可以在几分钟甚至几秒钟内实现集群之间的数据同步，并且实现了两种机制来保证数据的可靠性： </section> <ul class="list-paddingleft-1" style="list-style-type: disc;"> <li> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> Binlog ：该机制可以自动记录数据的变化，并为每个数据修改操作生成一个LogID。增量 LogID 确保数据更改可追溯且有序。 </section></li> <li> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 数据持久化 ：在系统崩溃或紧急情况下，数据将被存入磁盘。 </section></li> </ul> <h1 data-selectable-paragraph="" style="box-sizing: inherit;font-family: sohne, "Helvetica Neue", Helvetica, Arial, sans-serif;color: rgb(36, 36, 36);line-height: 30px;letter-spacing: -0.016em;font-weight: 600;font-size: 24px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-bottom: 8px;margin-top: 24px;">深入了解 Apache Doris</h1> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> Apache Doris 可以取代 ClickHouse、MySQL、Presto 和 HBase，因为它在数据处理管道上拥有全面的功能集合。在数据摄取方面，基于对 Flink CDC 和 Merge-on-Write 的支持，实现了低延迟实时写入。通过其标签机制和事务加载来保证 Exactly-Once 写入。在数据查询方面，它同时支持星型模式和平面表聚合，因此在麻烦的多表连接和大型单表查询中都可以提供高性能。它还提供了多种方法来加速不同的查询，例如用于全文搜索和范围查询的 倒排索引、用于点查询的短路计划和预备语句。 </section> <section style="box-sizing: inherit;color: rgb(36, 36, 36);word-break: break-word;line-height: 32px;letter-spacing: -0.003em;font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 20px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);margin-top: 0px;margin-bottom: 8px;"> 原文作者：<span style="color: rgb(36, 36, 36);font-family: source-serif-pro, Georgia, Cambria, "Times New Roman", Times, serif;font-size: 16px;letter-spacing: -0.06px;text-align: start;text-wrap: wrap;background-color: rgb(255, 255, 255);">Apache Doris </section> <mp-style-type data-value="3"></mp-style-type>

优雅而强大：用easy-es简化ElasticSearch操作

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding: 0 10px;line-height: 1.6;word-spacing: 0px;letter-spacing: 0px;word-break: break-word;word-wrap: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, 'PingFang SC', Cambria, Cochin, Georgia, Times, 'Times New Roman', serif;"> <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;display: block;font-size: 0.9em;overflow: auto;border-left: 3px solid rgb(239, 112, 96);color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;background: rgb(255, 249, 249);"> 使用过Spring Data操作ES的小伙伴应该有所了解，它只能实现一些非常基本的数据管理工作，一旦遇到稍微复杂点的查询，基本都要依赖ES官方提供的RestHighLevelClient，Spring Data只是在其基础上进行了简单的封装。最近发现一款更优雅的ES ORM框架Easy-Es，使用它能像MyBatis-Plus一样操作ES，今天就以一个实际的mall商城项目中的商品搜索功能为例，来聊聊它的使用！ </blockquote> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">Easy-Es简介 </h2> Easy-Es（简称EE）是基于Elasticsearch（简称ES）官方提供的RestHighLevelClient开发的ORM框架，旨在简化开发流程并提高效率。EE在保持RestHighLevelClient原有功能的基础上进行增强，而不做任何改变。与Mybatis-Plus（简称MP）相比，EE的用法非常相似，如果您之前使用过MP，应该能够很快上手EE。EE的设计理念是：将简单、易用和方便留给用户，而将复杂的任务交由框架来处理。 EE的主要特性如下： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li style="box-sizing: inherit;">全自动索引管理：开发者无需繁琐地处理索引的创建、更新和数据迁移等步骤，框架会自动完成这些任务。</li> <li style="box-sizing: inherit;margin-top: 0.25em;">屏蔽语言差异：开发者只需要熟悉MySQL语法，就能够轻松地使用ES进行开发。</li> <li style="box-sizing: inherit;margin-top: 0.25em;">更少的代码量：相比直接使用官方提供的RestHighLevelClient，使用EE平均可以节省3-5倍的代码量来进行相同的查询操作。</li> <li>零魔法值：字段名称会直接从实体中获取，无需手动编写。</li> <li><span style="font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: 0px;text-align: left;text-wrap: wrap;color: black;">无额外学习成本：<span style="font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: 0px;text-align: left;text-wrap: wrap;color: black;">如果开发者已经熟悉国内最受欢迎的Mybatis-Plus的用法，那么可以无缝迁移至EE，无需额外学习成本。 </li> </ul> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">MySQL与Easy-Es语法对比 </h2> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.9738625363020329" src="/upload/d1f76d02657c1e57789e155db5c6e155.png" data-type="png" data-w="1033" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.8468992248062015" src="/upload/61670a776eb10deda4cb50297bdab206.png" data-type="png" data-w="1032" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.4530493707647628" src="/upload/11c72e7193412e70aa2e0f158dab88c3.png" data-type="png" data-w="1033" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">集成及配置</h2> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 首先需要在pom.xml中添加Easy-Es的相关依赖； </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;"><dependencyManagement> <dependencies> <dependency> <groupId>org.elasticsearch.client</groupId> <artifactId>elasticsearch-rest-high-level-client</artifactId> <version>7.14.0</version> </dependency> <dependency> <groupId>org.elasticsearch</groupId> <artifactId>elasticsearch</artifactId> <version>7.14.0</version> </dependency> </dependencies> </dependencyManagement> </code></pre> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 再修改配置文件application.yml对Easy-Es进行配置。 </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">easy-es: # 是否开启EE自动配置 enable: true # ES连接地址+端口 address: localhost:9200 # 关闭自带banner banner: false </code></pre> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 添加Easy-Es的Java配置，使用@EsMapperScan配置好Easy-Es的Mapper接口和文档对象路径，如果你使用了MyBatis-Plus的话，需要和它的扫描路径区分开来。 </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * EasyEs配置类 * Created by macro on 2022/9/16. */ @Configuration @EsMapperScan("com.macro.mall.tiny.easyes") public class EasyEsConfig { } </code></pre> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">使用 </h2> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 20px;">注解的使用</h3> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 首先我们需要创建文档对象EsProduct，然后给类和字段添加上Easy-Es的注解； </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * 搜索商品的信息 * Created by macro on 2018/6/19. */ @Data @EqualsAndHashCode @IndexName(value = "pms", shardsNum = 1, replicasNum = 0) public class EsProduct implements Serializable { private static final long serialVersionUID = -1L; @IndexId(type = IdType.CUSTOMIZE) private Long id; @IndexField(fieldType = FieldType.KEYWORD) private String productSn; private Long brandId; @IndexField(fieldType = FieldType.KEYWORD) private String brandName; private Long productCategoryId; @IndexField(fieldType = FieldType.KEYWORD) private String productCategoryName; private String pic; @IndexField(fieldType = FieldType.TEXT, analyzer = "ik_max_word") private String name; @IndexField(fieldType = FieldType.TEXT, analyzer = "ik_max_word") private String subTitle; @IndexField(fieldType = FieldType.TEXT, analyzer = "ik_max_word") private String keywords; private BigDecimal price; private Integer sale; private Integer newStatus; private Integer recommandStatus; private Integer stock; private Integer promotionType; private Integer sort; @IndexField(fieldType = FieldType.NESTED, nestedClass = EsProductAttributeValue.class) private List<EsProductAttributeValue> attrValueList; @Score private Float score; } </code></pre> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> EsProduct中的注解具体说明如下： </section></li> </ul> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.4951737451737452" src="/upload/fb7da5f597580182f4661fc81c938e93.png" data-type="png" data-w="1036" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> EsProduct中嵌套类型EsProductAttributeValue的代码如下。 </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * 搜索商品的属性信息 * Created by macro on 2018/6/27. */ @Data @EqualsAndHashCode public class EsProductAttributeValue implements Serializable { private static final long serialVersionUID = 1L; @IndexField(fieldType = FieldType.LONG) private Long id; @IndexField(fieldType = FieldType.KEYWORD) private Long productAttributeId; //属性值 @IndexField(fieldType = FieldType.KEYWORD) private String value; //属性参数：0->规格；1->参数 @IndexField(fieldType = FieldType.INTEGER) private Integer type; //属性名称 @IndexField(fieldType=FieldType.KEYWORD) private String name; } </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 20px;">商品信息维护</h3> 下面我们来实现几个简单的商品信息维护接口，包括商品信息的导入、创建和删除。 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 首先我们需要定义一个Mapper，继承BaseEsMapper； </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * 商品ES操作类 * Created by macro on 2018/6/19. */ public interface EsProductMapper extends BaseEsMapper<EsProduct> { } </code></pre> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 然后在Service实现类中直接使用EsProductMapper内置方法实现即可，是不是和MyBatis-Plus的用法一致？ </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * 搜索商品管理Service实现类 * Created by macro on 2018/6/19. */ @Service public class EsProductServiceImpl implements EsProductService { @Autowired private EsProductDao productDao; @Autowired private EsProductMapper esProductMapper; @Override public int importAll() { List<EsProduct> esProductList = productDao.getAllEsProductList(null); return esProductMapper.insertBatch(esProductList); } @Override public void delete(Long id) { esProductMapper.deleteById(id); } @Override public EsProduct create(Long id) { EsProduct result = null; List<EsProduct> esProductList = productDao.getAllEsProductList(id); if (esProductList.size() > 0) { result = esProductList.get(0); esProductMapper.insert(result); } return result; } @Override public void delete(List<Long> ids) { if (!CollectionUtils.isEmpty(ids)) { esProductMapper.deleteBatchIds(ids); } } } </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 20px;">简单商品搜索</h3> 下面我们来实现一个最简单的商品搜索，分页搜索商品名称、副标题、关键词中包含指定关键字的商品。 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 通过QueryWrapper来构造查询条件，然后使用Mapper中的方法来进行查询，使用过MyBatis-Plus的小伙伴应该很熟悉了； </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * 搜索商品管理Service实现类 * Created by macro on 2018/6/19. */ @Service public class EsProductServiceImpl implements EsProductService { @Autowired private EsProductMapper esProductMapper; @Override public PageInfo<EsProduct> search(String keyword, Integer pageNum, Integer pageSize) { LambdaEsQueryWrapper<EsProduct> wrapper = new LambdaEsQueryWrapper<>(); if(StrUtil.isEmpty(keyword)){ wrapper.matchAllQuery(); }else{ wrapper.multiMatchQuery(keyword,EsProduct::getName,EsProduct::getSubTitle,EsProduct::getKeywords); } return esProductMapper.pageQuery(wrapper, pageNum, pageSize); } } </code></pre> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 使用Swagger访问接口后，可以在控制台输出查看生成的DSL语句，访问地址：http://localhost:8080/swagger-ui/ </section></li> </ul> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.29411764705882354" src="/upload/2516ac6698f9db0059b72df2417282a9.png" data-type="png" data-w="1037" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 把DSL语句直接复制Kibana中即可执行查看结果了，这和我们手写DSL语句没什么两样的。 </section></li> </ul> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 20px;">综合商品搜索</h3> 下面我们来实现一个复杂的商品搜索，涉及到过滤、不同字段匹配权重不同以及可以进行排序。 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 首先来说需求，按输入的关键字搜索商品名称（权重10）、副标题（权重5）和关键词（权重2），可以按品牌和分类进行筛选，可以有5种排序方式，默认按相关度进行排序，看下接口文档有助于理解； </section></li> </ul> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.6972222222222222" src="/upload/15fc65ca4e47bc3e343ee7ca690dd5fb.png" data-type="png" data-w="1080" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 这个功能之前使用Spring Data来实现非常复杂，使用Easy-Es来实现确实简洁不少，下面是使用Easy-Es的实现方式； </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * 搜索商品管理Service实现类 * Created by macro on 2018/6/19. */ @Service public class EsProductServiceImpl implements EsProductService { @Autowired private EsProductMapper esProductMapper; @Override public PageInfo<EsProduct> search(String keyword, Long brandId, Long productCategoryId, Integer pageNum, Integer pageSize,Integer sort) { LambdaEsQueryWrapper<EsProduct> wrapper = new LambdaEsQueryWrapper<>(); //过滤 if (brandId != null || productCategoryId != null) { if (brandId != null) { wrapper.eq(EsProduct::getBrandId,brandId); } if (productCategoryId != null) { wrapper.eq(EsProduct::getProductCategoryId,productCategoryId).enableMust2Filter(true); } } //搜索 if (StrUtil.isEmpty(keyword)) { wrapper.matchAllQuery(); } else { wrapper.and(i -> i.match(EsProduct::getName, keyword, 10f) .or().match(EsProduct::getSubTitle, keyword, 5f) .or().match(EsProduct::getKeywords, keyword, 2f)); } //排序 if(sort==1){ //按新品从新到旧 wrapper.orderByDesc(EsProduct::getId); }else if(sort==2){ //按销量从高到低 wrapper.orderByDesc(EsProduct::getSale); }else if(sort==3){ //按价格从低到高 wrapper.orderByAsc(EsProduct::getPrice); }else if(sort==4){ //按价格从高到低 wrapper.orderByDesc(EsProduct::getPrice); }else{ //按相关度 wrapper.sortByScore(SortOrder.DESC); } return esProductMapper.pageQuery(wrapper, pageNum, pageSize); } } </code></pre> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.7416666666666667" src="/upload/e69e5513e190fc5a34176a61fef2c7bb.png" data-type="png" data-w="1080" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 再对比下之前使用Spring Data的实现方式，没有QueryWrapper来构造条件，还要硬编码字段名称，确实优雅了不少！ </section></li> </ul> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.7416666666666667" src="/upload/e69e5513e190fc5a34176a61fef2c7bb.png" data-type="png" data-w="1080" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 20px;">相关商品推荐</h3> 当我们查看相关商品的时候，一般底部会有一些商品推荐，这里简单来实现下。 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 首先来说下需求，可以根据指定商品的ID来查找相关商品，看下接口文档有助于理解； </section></li> </ul> <figure data-tool="mdnice编辑器" style="margin: 0;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.48055555555555557" src="/upload/564bb4c1177d4d89f03eb2bd7f367fa7.jpg" data-type="jpeg" data-w="1080" style="display: block;margin: 0 auto;max-width: 100%;"> </figure> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 这里我们的实现原理是这样的：首先根据ID获取指定商品信息，然后以指定商品的名称、品牌和分类来搜索商品，并且要过滤掉当前商品，调整搜索条件中的权重以获取最好的匹配度； </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 使用Easy-Es来实现依旧是那么简洁！ </section></li> </ul> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/b2ONlmmVZRpkmpmxQicejPJB7PVtZ8gSqFkABnJ4jNobEgoVKKvKCt4z8FesNdnb0EWibYl0EmvgseibibOyOHcE337VNrOHrjuR/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">/** * 搜索商品管理Service实现类 * Created by macro on 2018/6/19. */ @Service public class EsProductServiceImpl implements EsProductService { @Autowired private EsProductMapper esProductMapper; @Override public PageInfo<EsProduct> recommend(Long id, Integer pageNum, Integer pageSize) { LambdaEsQueryWrapper<EsProduct> wrapper = new LambdaEsQueryWrapper<>(); List<EsProduct> esProductList = productDao.getAllEsProductList(id); if (esProductList.size() > 0) { EsProduct esProduct = esProductList.get(0); String keyword = esProduct.getName(); Long brandId = esProduct.getBrandId(); Long productCategoryId = esProduct.getProductCategoryId(); //用于过滤掉相同的商品 wrapper.ne(EsProduct::getId,id); //根据商品标题、品牌、分类进行搜索 wrapper.and(i -> i.match(EsProduct::getName, keyword, 8f) .or().match(EsProduct::getSubTitle, keyword, 2f) .or().match(EsProduct::getKeywords, keyword, 2f) .or().match(EsProduct::getBrandId, brandId, 5f) .or().match(EsProduct::getProductCategoryId, productCategoryId, 3f)); return esProductMapper.pageQuery(wrapper, pageNum, pageSize); } return esProductMapper.pageQuery(wrapper, pageNum, pageSize); } } </code></pre> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">总结 </h2> 今天主要介绍了Easy-Es的一些常见的用法，确实使用Easy-Es更简单，但是对于复杂的聚合搜索功能，还是需要使用原生的RestHighLevelClient用法来实现。使用Easy-Es来操作ES确实足够优雅，它类似MyBatis-Plus的用法能大大降低我们的学习成本，快速完成开发工作！ </section> <mp-style-type data-value="3"></mp-style-type>

Apache SkyWalking 轻松处理亿级流量的分布式系统监控工具

作者：微信小助手

一文带你掌握MyBatis-Plus的plus高级功能点如何使用

作者：微信小助手

<section class="mp_profile_iframe_wrp"> <mp-common-profile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="Mzg5MDY1NzI0MQ==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/ibiaEekvAJHWiaznPJmfgtRI9SQT1b9gVYicxm1HpRoI7ib7zP4WIsFqax7sxP3hqOHDreujVdwHMbFaleygytUHX8g/0?wx_fmt=png" data-nickname="Shepherd进阶笔记" data-alias="shepherdZFJ" data-signature="专注分享Java技术进阶知识点，日常工作点点滴滴，滴水穿石" data-from="0" data-is_biz_ban="0"></mp-common-profile> </section> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> 今天接着之前总结的入门教程分析：<a href="https://mp.weixin.qq.com/s?__biz=Mzg5MDY1NzI0MQ==&mid=2247486885&idx=1&sn=c3b8a0be2f670312a129885ae2da8d49&chksm=cfd80d13f8af84055fdf9e708bfa2fb2e06defb7061ded3fef5e7d43b8c407ea86392e438bc2&token=2027172068&lang=zh_CN&scene=21#wechat_redirect" style="color: rgb(30, 107, 184);font-weight: bold;border-bottom: 1px solid rgb(30, 107, 184);" data-linktype="2">MyBatis-Plus最详细的入门教程</a>，首先还是同样地需要准备一张表<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">tb_user</code>: <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">CREATE TABLE `tb_user` (   `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键',   `user_no` varchar(255) NOT NULL COMMENT '编号',   `nickname` varchar(255) DEFAULT NULL COMMENT '昵称',   `email` varchar(255) DEFAULT NULL COMMENT '邮箱',   `phone` varchar(255) NOT NULL COMMENT '手机号',   `gender` tinyint(4) NOT NULL DEFAULT '0' COMMENT '性别  0：男生   1：女生',   `birthday` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '出生日期',   `is_delete` tinyint(4) NOT NULL DEFAULT '0' COMMENT '删除标志 0：否  1：是',   `create_time` datetime DEFAULT NULL COMMENT '创建时间',   `update_time` datetime DEFAULT NULL COMMENT '更新时间',   `create_by` bigint(20) DEFAULT NULL COMMENT '创建人',   `update_by` bigint(20) DEFAULT NULL COMMENT '更新人',   `address` varchar(1024) DEFAULT NULL COMMENT '地址',   PRIMARY KEY (`id`) USING BTREE ) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 ROW_FORMAT=DYNAMIC; </code></pre> 在项目服务中对应的实体类<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">User</code>: <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">@Data @Builder @AllArgsConstructor @NoArgsConstructor @TableName(value = "tb_user") public class User {     @TableId(type = IdType.AUTO)     private Long id;     private String userNo;     private String nickname;     private String email;     private String phone;     private Integer gender;     private Date birthday;     private Integer isDelete;     private Date createTime;     private Date updateTime; } </code></pre> 下面高级功能的示例都是基于上面的表进行展开的。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">1.批量插入</h2> 我们在日常开发中知道大批量插入数据可能造成性能瓶颈，所以需要格外关注。在之前的入门教程讲过<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">mp(MyBatis-Plus简称，下文都用简称)</code>对数据库的CRUD操作提供了<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">service层和mapper层的接口方法</code>封装，两者的一大区别就是<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">service CRUD接口</code>提供了批量保存的操作，下面就分别来看看批量保存1000条user数据，然后对执行时间进行统计对比和性能评估，这里我连接的数据库是4核8G10M轻量服务器部署的，不同的数据库服务环境配置，执行效率是不一样的，所以下面的执行时间仅供对比参考。 mapper层的CRUD接口 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">    /**      * mapper层的crud接口方法批量插入      */     @Test     public void testMapperBatchAdd() {         List<User> users = new ArrayList<>();         for(long i = 1; i <= 1000; i++) {             User user = User.builder()                     .id(i)                     .userNo("No-" + i)                     .nickname("哈哈")                     .phone("12345678901")                     .email("shepherd_123@qq.com")                     .birthday(new Date())                     .gender(0)                     .isDelete(0)                     .build();             users.add(user);         }         long start = System.currentTimeMillis();         users.forEach(user -> {             userDAO.insert(user);         });         long end = System.currentTimeMillis();         System.out.println("执行时长：" + (end-start) + "毫秒");     } </code></pre> 控制台输出如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">执行时长：42516毫秒 </code></pre> service层CRUD接口 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">    /**      * service层的crud接口方法批量插入      */     @Test     public void testServiceBatchAdd() {         List<User> users = new ArrayList<>();         for(long i = 1; i <= 1000; i++) {             User user = User.builder()                     .id(i)                     .userNo("No-" + i)                     .nickname("哈哈")                     .phone("12345678901")                     .email("shepherd_123@qq.com")                     .birthday(new Date())                     .gender(0)                     .isDelete(0)                     .build();             users.add(user);         }         long start = System.currentTimeMillis();         userService.saveBatch(users);         long end = System.currentTimeMillis();         System.out.println("执行时长：" + (end-start) + "毫秒");     } </code></pre> 执行结果： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">执行时长：19385毫秒 </code></pre> 可以看出，使用service层提供的批量保存接口<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">userService.saveBatch(users)</code>虽然快了很多，却仍需要19s，耗时比起mapper层的一条一条地插入快了23s，但是对于服务接口响应来说还是不可接受的。那为什么批量插入保存还是比较慢呢？ <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;border-left-color: rgba(0, 0, 0, 0.4);background: rgba(0, 0, 0, 0.05);color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;"> MySQL 的 JDBC 连接的 url 中要加 rewriteBatchedStatements 参数，并保证 5.1.13 以上版本的驱动，才能实现高性能的批量插入。 </blockquote> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">spring:   datasource:     driver-class-name: com.mysql.cj.jdbc.Driver     username: root     password: root     url: jdbc:mysql://ip:3306/db_test?&serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=UTF8&autoReconnect=true&useSSL=false&allowPublicKeyRetrieval=true&rewriteBatchedStatements=true </code></pre> 再次执行上面的service层crud接口批量插入方法，执行结果如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">执行时长：1364毫秒 </code></pre> 可以看到 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">jdbcurl</code> 添加了 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">rewriteBatchedStatements=true</code> 参数后，批量操作的执行耗时已经只有 1364 毫秒快的飞起，具体缘由分析请看：https://juejin.cn/post/7295688187752562751 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">2.逻辑删除</h2> 现今互联网系统数据安全越发重要，逻辑删表是指在删除表中数据时，并不是直接将数据从表中删除，而是将数据的状态标记为已删除。这种方式被称为逻辑删除，与之相对的是物理删除。逻辑删除可以保留数据的完整性，同时也方便数据恢复。 添加配置如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">mybatis-plus:   global-config:     db-config:       logic-delete-field: isDelete # 全局逻辑删除的实体字段名       logic-delete-value: 1 # 逻辑已删除值(默认为 1)       logic-not-delete-value: 0 # 逻辑未删除值(默认为 0) </code></pre> 测试样例： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">    /**      * 逻辑删除      */     @Test     public void testLogicDelete() {         userDAO.deleteById(1L);     } </code></pre> 控制台输出如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/50HcP4UOeLUKkJ1N0DXN4vchRASnLVnWiaN8YZVYeHbbhVoY0IVL43QJaAAFXlHR5jkwOhRW4A657KKG5icrnTw47Qa44GcOoe/640?wx_fmt=svg&from=appmsg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">2023-11-16 17:01:47.656 DEBUG 10649 --- [           main] c.s.m.demo.dao.UserDAO.deleteById        : ==>  Preparing: UPDATE tb_user SET is_delete=1 WHERE id=? AND is_delete=0 2023-11-16 17:01:47.702 DEBUG 10649 --- [           main] c.s.m.demo.dao.UserDAO.deleteById        : ==> Parameters: 1(Long) 2023-11-16 17:01:47.744 DEBUG 10649 --- [           main] c.s.m.demo.dao.UserDAO.deleteById        : <==    Updates: 1 </code></pre> 从日志可以看出做了更新，这就是逻辑删除，接�

注解方式优雅的实现 Redisson 分布式锁

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;counter-reset: counterh1 0 counterh2 0 counterh3 0;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;" data-mpa-powered-by="yiban.io"> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">1前言</h2> 日常开发中，难免遇到一些并发的场景，为了保证接口执行的一致性，通常采用加锁的方式，因为服务是分布式部署模式，本地锁Reentrantlock和Synchnorized这些就先放到一边了，Redis的setnx锁存在无法抱保证原子性的问题就暂时搁且到一边，直接上大招Redisson也是我最近开发项目中基本都在用的缓存，并且也都是用它的分布式锁机制。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">2Redisson分布式锁常规使用</h2> 关于Redisson的一些基本概念，本章就不做太详细的说明了，有兴趣的小伙伴可以自己去了解下，主要说下加锁的常规使用，Redisson分布式锁是基于Redis的Rlock锁，实现了JavaJUC包下的Lock接口。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;"><span style="display: inline-block;background-image: linear-gradient(45deg, transparent 48%, rgb(37, 132, 181) 48%, rgb(37, 132, 181) 52%, transparent 52%);background-position: initial;background-size: initial;background-repeat: initial;background-attachment: initial;background-origin: initial;background-clip: initial;width: 24px;height: 24px;margin-bottom: -7px;">Lock</h3> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/wJibWkqN1bUPFlsrzna5Ytz9k7zL1bxmnPgk4RmPKvkoEevs1Fd1Ls0YgP6wjSl8q3rl4I44hia9cNTvkjXHC1lT6uLrwEMdgz/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(39, 40, 34);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #ddd;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #272822;border-radius: 5px;">public void getLock(){     //获取锁     RLock lock = redisson.getLock("Lxlxxx_Lock");     try {         // 2.加锁         lock.lock();     } catch (InterruptedException e) {         e.getStackTrace();     } finally {         // 3.解锁         lock.unlock();         System.out.println("Finally，释放锁成功");     } </code></pre> getLock获取锁，lock.lock进行加锁，会出现的问题就是lock拿不到锁一直等待，会进入阻塞状态，显然这样是不好的。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;"><span style="display: inline-block;background-image: linear-gradient(45deg, transparent 48%, rgb(37, 132, 181) 48%, rgb(37, 132, 181) 52%, transparent 52%);background-position: initial;background-size: initial;background-repeat: initial;background-attachment: initial;background-origin: initial;background-clip: initial;width: 24px;height: 24px;margin-bottom: -7px;">TryLock</h3> 返回boolean类型，和Reentrantlock的tryLock是一个意思，尝试获取锁，获取到就返回true，获取失败就返回false，不会使获不到锁的线程一直处于等待状态，返回false可以继续执行下面的业务逻辑，当然Ression锁内部也涉及到watchDog看门狗机制，主要作用就是给快过期的锁进行续期，主要用途就是使拿到锁的有限时间让业务执行完，再进行锁释放。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/wJibWkqN1bUPFlsrzna5Ytz9k7zL1bxmnPgk4RmPKvkoEevs1Fd1Ls0YgP6wjSl8q3rl4I44hia9cNTvkjXHC1lT6uLrwEMdgz/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(39, 40, 34);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #ddd;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #272822;border-radius: 5px;">RLock lock = redisson.getLock(name); try {     if (lock.tryLock(2, 10, TimeUnit.SECONDS)) {         //执行业务逻辑     } else {         System.out.println("已存在");     } } catch (InterruptedException e) {     e.printStackTrace(); }finally { //判断当前线程持有的锁是不是处于锁定状态，锁定状态再进行释放     if (this.redissonLock.isHeldByCurrentThread(lockName)) {         this.redissonLock.unlock(lockName);     } } </code></pre> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">3自定义注解实现锁机制</h2> 通常我们都会将redisson实例注入到方法类里面，然后调用加锁方法进行加锁，如果其他业务方法也需要加锁执行，将会产生很多重复代码，由此采用AOP切面的方式，只需要通过注解的方式就能将方法进行加锁处理。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;"><span style="display: inline-block;background-image: linear-gradient(45deg, transparent 48%, rgb(37, 132, 181) 48%, rgb(37, 132, 181) 52%, transparent 52%);background-position: initial;background-size: initial;background-repeat: initial;background-attachment: initial;background-origin: initial;background-clip: initial;width: 24px;height: 24px;margin-bottom: -7px;">自定义注解</h3> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/wJibWkqN1bUPFlsrzna5Ytz9k7zL1bxmnPgk4RmPKvkoEevs1Fd1Ls0YgP6wjSl8q3rl4I44hia9cNTvkjXHC1lT6uLrwEMdgz/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(39, 40, 34);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #ddd;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #272822;border-radius: 5px;">@Documented @Inherited @Retention(RetentionPolicy.RUNTIME) @Target({ElementType.METHOD}) public @interface DistributedLock {     String key() default "";     int leaseTime() default 10;     boolean autoRelease() default true;     String errorDesc() default "系统正常处理，请稍后提交";     int waitTime() default 1; } </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;"><span style="display: inline-block;background-image: linear-gradient(45deg, transparent 48%, rgb(37, 132, 181) 48%, rgb(37, 132, 181) 52%, transparent 52%);background-position: initial;background-size: initial;background-repeat: initial;background-attachment: initial;background-origin: initial;background-clip: initial;width: 24px;height: 24px;margin-bottom: -7px;">切面类实现</h3> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/wJibWkqN1bUPFlsrzna5Ytz9k7zL1bxmnPgk4RmPKvkoEevs1Fd1Ls0YgP6wjSl8q3rl4I44hia9cNTvkjXHC1lT6uLrwEMdgz/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(39, 40, 34);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #ddd;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #272822;border-radius: 5px;">@Aspect @Component public class DistributedLockHandler {     private static final Logger log = LoggerFactory.getLogger(DistributedLockHandler.class);     @Autowired     RedissonLock redissonLock;     public DistributedLockHandler() {     }     @Around("@annotation(distributedLock)")     public Object around(ProceedingJoinPoint joinPoint, DistributedLock distributedLock) throws Throwable {         String lockName = this.getRedisKey(joinPoint, distributedLock);         int leaseTime = distributedLock.leaseTime();         String errorDesc = distributedLock.errorDesc();         int waitTime = distributedLock.waitTime();         Object var8;         try {             boolean lock = this.redissonLock.tryLock(lockName, (long)leaseTime, (long)waitTime);             if (!lock) {                 throw new RuntimeException(errorDesc);             }             var8 = joinPoint.proceed();         } catch (Throwable var12) {             log.error("执行业务方法异常", var12);             throw var12;         } finally {             if (this.redissonLock.isHeldByCurrentThread(lockName)) {                 this.redissonLock.unlock(lockName);             }         }         return var8;     }     /**      *  获取加锁的key      * @param joinPoint      * @param distributedLock      * @return      */     private String getRedisKey(ProceedingJoinPoint joinPoint, DistributedLock distributedLock) {         String key = distributedLock.key();         Object[] parameterValues = joinPoint.getArgs();         MethodSignature signature = (MethodSignature)joinPoint.getSignature();         Method method = signature.getMethod();         DefaultParameterNameDiscoverer nameDiscoverer = new DefaultParameterNameDiscoverer();         String[] parameterNames = nameDiscoverer.getParameterNames(method);         if (StringUtils.isEmpty(key)) {             if (parameterNames != null && parameterNames.length > 0) {                 StringBuffer sb = new StringBuffer();                 int i = 0;                 for(int len = parameterNames.length; i < len; ++i) {                     sb.append(parameterNames[i]).append(" = ").append(parameterValues[i]);                 }                 key = sb.toString();             } else {                 key = "redissionLock";             }             return key;         } else {             SpelExpressionParser parser = new SpelExpressionParser();             Expression expression = parser.parseExpression(key);             if (parameterNames != null && parameterNames.length != 0) {                 EvaluationContext evaluationContext = new StandardEvaluationContext();                 for(int i = 0; i < parameterNames.length; ++i) {                     evaluationContext.setVariable(parameterNames[i], parameterValues[i]);                 }                 try {                     Object expressionValue = expression.getValue(evaluationContext);                     return expressionValue != null && !"".equals(expressionValue.toString()) ? expressionValue.toString() : key;                 } catch (Exception var13) {                     return key;                 }             } else {                 return key;             }         }     } } </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;"><span style="display: inline-block;background-image: linear-gradient(45deg, transparent 48%, rgb(37, 132, 181) 48%, rgb(37, 132, 181) 52%, transparent 52%);background-position: initial;background-size: initial;background-repeat: initial;background-attachment: initial;background-origin: initial;background-clip: initial;width: 24px;height: 24px;margin-bottom: -7px;">具体使用</h3> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.07076719576719577" src="/upload/33a8aad2ff04c4ea9ddb2c37c5a07654.png" data-type="other" data-w="1512" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 方法头加自定义注解，key参数代表需要加锁的key，errorDesc获取锁失败提示报错信息。 这边我将项目通过修改端口启动了两个服务，分别是8460和8461 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.12235449735449735" src="/upload/11fa896b001a31eb6d9ed195ba0f2bc6.png" data-type="other" data-w="1512" style="display: block;margin-right: auto;margin-left: auto;"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.11243386243386243" src="/upload/bb61682f803fb44c419bb63d20d4d5d0.png" data-type="other" data-w="1512" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 通过postman调用这两个服务，模拟两个服务同时获取一把锁的场景，其中一个服务拿到锁，另外一个服务获取锁失败。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.5747354497354498" src="/upload/cc45e28fdb8ad5943ecd3f81848ec02e.png" data-type="other" data-w="1512" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 可以看到端口8460服务先拿到锁，8461服务tryLock获取锁失败，实现了加锁逻辑。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.24338624338624337" src="/upload/e8a064c80e8591e505917cb39776cabd.png" data-type="other" data-w="1512" style="display: block;margin-right: auto;margin-left: auto;"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.22288359788359788" src="/upload/21ff4f75235e67d561636298272a074e.png" data-type="other" data-w="1512" style="display: block;margin-right: auto;margin-left: auto;"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">4总结</h2> 分布式锁的使用场景还是需要多注意下，根据业务场景来，并发量不大的情况下，其实没有必要加，可能在移动端操作比较频繁的情况下需要注意并发，目前我做的b端项目，通过简单接口幂等性操作就可以避免重复提交，切勿不要盲目加锁，多少会影响一些性能。 </section> <blockquote class="js_blockquote_wrap" data-type="2" data-url="" data-author-name="" data-content-utf8-length="37" data-source-title="" style="outline: 0px;color: var(--weui-FG-1);text-wrap: wrap;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;background-color: rgb(255, 255, 255);"> <section class="js_blockquote_digest" style="outline: 0px;"> <section style="outline: 0px;"> <span style="outline: 0px;font-family: system-ui, -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;color: rgb(136, 136, 136);cursor: pointer;font-size: 11px;">来源：juejin.cn/post/7215142807861379109 </section> </section> </blockquote> <blockquote data-tool="mdnice编辑器" style="margin-top: 20px;margin-bottom: 20px;padding: 10px 10px 10px 1em;outline: 0px;border-left-width: 2px;border-left-color: rgb(136, 136, 136);color: rgb(119, 119, 119);font-size: 0.9em;text-wrap: wrap;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: normal;text-align: left;caret-color: rgb(60, 60, 60);widows: 1;border-top: none;border-bottom: none;overflow: auto;background: rgba(0, 0, 0, 0.05);border-right: 2px solid rgb(136, 136, 136);visibility: visible;"></blockquote> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;outline: 0px;text-wrap: wrap;color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;caret-color: rgb(60, 60, 60);widows: 1;background-color: rgb(255, 255, 255);display: flex;flex-direction: column;justify-content: center;align-items: center;visibility: visible;"> <figcaption style="margin-top: 5px;outline: 0px;text-align: center;color: rgb(136, 136, 136);font-size: 14px;visibility: visible;"> 加我好友，拉你进群 </figcaption> </figure>

分布式锁的各种实现，看完这篇你就懂了！

作者：微信小助手

<p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">今天我们讲讲分布式锁，网上相关的内容有很多，但是比较分散，刚好自己刚学习完总结下，分享给大家，文章内容会比较多，我们先从思维导图中了解要讲的内容。 <figure style="font-size: 14px;letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;color: rgb(63, 63, 63);"> <img data-imgfileid="100000535" data-ratio="1.0756646216768917" src="/upload/2f5489db551a6b15fef78f82a12c0144.png" data-type="png" data-w="978" style="line-height: 1.75;border-radius: 4px;display: block;margin: 0.1em auto 0.5em;" title="null"> </figure> <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">什么是分布式锁</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">分布式锁是控制分布式系统之间同步访问共享资源的一种方式，通过互斥来保持一致性。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">了解分布式锁之前先了解下线程锁和进程锁： <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">线程锁：主要用来给方法、代码块加锁。当某个方法或代码使用锁，在同一时刻仅有一个线程执行该方法或该代码段。线程锁只在同一JVM中有效果，因为线程锁的实现在根本上是依靠线程之间共享内存实现的，比如Synchronized、Lock等 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">进程锁：控制同一操作系统中多个进程访问某个共享资源，因为进程具有独立性，各个进程无法访问其他进程的资源，因此无法通过synchronized等线程锁实现进程锁 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">比如Golang语言中的sync包就提供了基本的同步基元，如互斥锁 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">但是以上两种适合在单体架构应用，但是分布式系统中多个服务节点，多个进程分散部署在不同节点机器中，此时对于资源的竞争，上诉两种对节点本地资源的锁就无效了。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这个时候就需要分布式锁来对分布式系统多进程访问资源进行控制，因此分布式锁是为了解决分布式互斥问题！ <figure style="font-size: 14px;letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;color: rgb(63, 63, 63);"> <img data-imgfileid="100000536" data-ratio="0.5279411764705882" src="/upload/eef18e455c23d10592cf733b7b312b79.png" data-type="png" data-w="680" style="line-height: 1.75;border-radius: 4px;display: block;margin: 0.1em auto 0.5em;" title="null"> </figure> <h2 style="letter-spacing: normal;text-wrap: wrap;text-align: center;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.4em;font-weight: bold;display: table;margin-top: 1.5em;margin-bottom: 1.5em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">分布式锁的特性</h2> <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">互斥</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">互斥性很好理解，这也是最基本功能，就是在任意时刻，只能有一个客户端才能获取锁，不能同时有两个客户端获取到锁。 <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">避免死锁</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">为什么会出现死锁，因为获取锁的客户端因为某些原因(如down机等)而未能释放锁，其它客户端再也无法获取到该锁，从而导致整个流程无法继续进行。 <figure style="font-size: 14px;letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin: 1.5em 8px;color: rgb(63, 63, 63);"> <img data-imgfileid="100000534" data-ratio="0.25953259532595324" src="/upload/25f26d35cd0b3b6885d8587263eadc62.png" data-type="png" data-w="813" style="line-height: 1.75;border-radius: 4px;display: block;margin: 0.1em auto 0.5em;" title="null"> </figure> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">面对这种情况，当然有解决办法啦！ <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">引入过期时间：通常情况下我们会设置一个 TTL(Time To Live，存活时间) 来避免死锁，但是这并不能完全避免。 <ol style="font-size: 14px;letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 32px;color: rgb(63, 63, 63);" class="list-paddingleft-1"> <li style="text-align: left;line-height: 1.75;text-indent: -1em;display: block;margin: 0.2em 8px 0.5em;">1. 比如TTL为5秒，进程A获得锁</li> <li style="text-align: left;line-height: 1.75;text-indent: -1em;display: block;margin: 0.2em 8px 0.5em;">2. 问题是5秒内进程A并未释放锁，被系统自动释放，进程B获得锁</li> <li style="text-align: left;line-height: 1.75;text-indent: -1em;display: block;margin: 0.2em 8px 0.5em;">3. 刚好第6秒时进程A执行完，又会释放锁，也就是进程A释放了进程B的锁</li> </ol> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">仅仅加个过期时间会设计到两个问题：锁过期和释放别人的锁问题 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">锁附加唯一性：针对释放别人锁这种问题，我们可以给每个客户端进程设置【唯一ID】，这样我们就可以在应用层就进行检查唯一ID。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">自动续期：锁过期问题的出现，是我们对持有锁的时间不好进行预估，设置较短的话会有【提前过期】风险，但是过期时间设置过长，可能锁长时间得不到释放。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这种情况同样有处理方式，可以开启一个守护进程（watch dog）,检测失效时间进行续租，比如Java技术栈可以用Redisson来处理。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">可重入： <blockquote style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 0.9em;border-left-width: 6px;border-left-color: rgb(220, 230, 240);padding: 15px 15px 15px 1rem;border-radius: 8px;color: rgb(129, 145, 152);background: rgb(242, 247, 251);overflow: auto;overflow-wrap: normal;word-break: normal;"> 一个线程获取了锁，但是在执行时，又再次尝试获取锁会发生什么情况？ </blockquote> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">是的，导致了重复获取锁，占用了锁资源，造成了死锁问题。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">我们了解下什么是【可重入】：指的是同一个线程在持有锁的情况下，可以多次获取该锁而不会造成死锁，也就是一个线程可以在获取锁之后再次获取同一个锁，而不需要等待锁释放。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">解决方式：比如实现Redis分布式锁的可重入，在实现时，需要借助Redis的Lua脚本语言，并使用引用计数器技术，保证同一线程可重入锁的正确性。 <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">容错</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">容错性是为了当部分节点(redis节点等)宕机时，客户端仍然能够获取锁和释放锁，一般来说会有以下两种处理方式： <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">一种像etcd/zookeeper这种作为锁服务能够自动进行故障切换，因为它本身就是个集群，另一种可以提供多个独立的锁服务，客户端向多个独立锁服务进行请求，某个锁服务故障时，也可以从其他服务获取到锁信息，但是这种缺点很明显，客户端需要去请求多个锁服务。 <h2 style="letter-spacing: normal;text-wrap: wrap;text-align: center;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.4em;font-weight: bold;display: table;margin-top: 1.5em;margin-bottom: 1.5em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">分类</h2> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">本文会讲述四种关于分布式锁的实现，按实现方式来看，可以分为两种：自旋、watch监听 <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">自旋方式</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">基于数据库和基于Redis的实现就是需要在客户端未获得锁时，进入一个循环，不断的尝试请求是否能获得锁，直到成功或者超时过期为止。 <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">监听方式</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这种方式只需要客户端Watch监听某个key就可以了，锁可用的时候会通知客户端，客户端不需要反复请求，基于zooKeeper和基于Etcd实现分布式锁就是用这种方式。 <h2 style="letter-spacing: normal;text-wrap: wrap;text-align: center;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.4em;font-weight: bold;display: table;margin-top: 1.5em;margin-bottom: 1.5em;padding-right: 0.2em;padding-left: 0.2em;background: rgb(15, 76, 129);color: rgb(255, 255, 255);">实现方式</h2> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">分布式锁的实现方式有数据库、基于Redis缓存、ZooKeeper、Etcd等，文章主要从这几种实现方式并结合问题的方式展开叙述！ <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">基于MySQL</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">利用数据库表来实现实现分布式锁，是不是感觉有点疑惑，是的，我再写之前收集资料的时候也有点疑问，虽然这种方式我们并不推崇，但是我们也可以作为一个方案来进行了解，我们看看到底怎么做的： <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">比如在数据库中创建一个表，表中包含方法名等字段，并在方法名name字段上创建唯一索引，想要执行某个方法，就使用这个方法名向表中插入一条记录，成功插入则获取锁，删除对应的行就是锁释放。 <pre style="color: rgb(224, 226, 228);background: rgb(40, 43, 46);font-size: 14px;letter-spacing: normal;text-align: left;line-height: 1.5;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;"><span style="padding: initial;display: block;height: 25px;background-color: transparent;background-image: url("https://mmbiz.qpic.cn/mmbiz_svg/VzQsdzsGScPov1icicO8OktPuxZfVBHbtfOVFpsiaSxNKpr8Esic64QtYn3eZkSQibEjc2jvYbbJdFW2djeQJ299LTfhWd7qObiaRE/640?wx_fmt=svg&from=appmsg");background-position: 14px 10px;background-repeat: no-repeat;background-size: 40px;"><code style="font-family: Menlo, "Operator Mono", Consolas, Monaco, monospace;display: -webkit-box;overflow-x: auto;line-height: 1.75;margin-right: 2px;margin-left: 2px;white-space-collapse: collapse;padding: 2px 4px;border-radius: 4px;">//锁记录表 CREATE TABLE `lock_info` (   `id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键',   `name` varchar(64) NOT NULL COMMENT '方法名',   PRIMARY KEY (`id`),   UNIQUE KEY `idx_name` (`method_name`)  ) ENGINE=InnoD</code></pre> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这里主要是用name字段作为唯一索引来实现，唯一索引保证了该记录的唯一性，锁释放就直接删掉该条记录就行了。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">缺点也很多： <ol style="font-size: 14px;letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;padding-left: 32px;color: rgb(63, 63, 63);" class="list-paddingleft-1"> <li style="text-align: left;line-height: 1.75;text-indent: -1em;display: block;margin: 0.2em 8px 0.5em;">1. 数据库是单点，非常依赖数据库的可用性</li> <li style="text-align: left;line-height: 1.75;text-indent: -1em;display: block;margin: 0.2em 8px 0.5em;">2. 需要额外自己维护TTL</li> <li style="text-align: left;line-height: 1.75;text-indent: -1em;display: block;margin: 0.2em 8px 0.5em;">3. 在高并发常见下数据库读写是非常缓慢</li> </ol> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">这里我们就不用过多的文字了，现实中我们更多的是用基于内存存储来实现分布式锁。 <h3 style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.2;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 1.3em;font-weight: bold;margin-top: 1.5em;margin-bottom: 1.5em;padding-left: 8px;border-left: 3px solid rgb(15, 76, 129);color: rgb(63, 63, 63);border-bottom: 2px solid rgb(0, 172, 193);">基于Redis</h3> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">面试官问：你了解分布式锁吗？想必绝大部分面试者都会说关于Redis实现分布式锁的方式，OK，进入正题【基于Redis分布式锁】 <blockquote style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 0.9em;border-left-width: 6px;border-left-color: rgb(220, 230, 240);padding: 15px 15px 15px 1rem;border-radius: 8px;color: rgb(129, 145, 152);background: rgb(242, 247, 251);overflow: auto;overflow-wrap: normal;word-break: normal;"> Redis 的分布式锁， setnx 命令并设置过期时间就行吗？ </blockquote> <pre style="color: rgb(224, 226, 228);background: rgb(40, 43, 46);font-size: 14px;letter-spacing: normal;text-align: left;line-height: 1.5;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;"><span style="padding: initial;display: block;height: 25px;background-color: transparent;background-image: url("https://mmbiz.qpic.cn/mmbiz_svg/VzQsdzsGScPov1icicO8OktPuxZfVBHbtfOVFpsiaSxNKpr8Esic64QtYn3eZkSQibEjc2jvYbbJdFW2djeQJ299LTfhWd7qObiaRE/640?wx_fmt=svg&from=appmsg");background-position: 14px 10px;background-repeat: no-repeat;background-size: 40px;"><code style="font-family: Menlo, "Operator Mono", Consolas, Monaco, monospace;display: -webkit-box;overflow-x: auto;line-height: 1.75;margin-right: 2px;margin-left: 2px;white-space-collapse: collapse;padding: 2px 4px;border-radius: 4px;">setnx lkey lvalue expire lockKey 30</code></pre> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">正常情况下是可以的，但是这里有个问题，虽然setnx是原子性的，但是setnx + expire就不是了，也就是说setnx和expire是分两步执行的，【加锁和超时】两个操作是分开的，如果expire执行失败了，那么锁同样得不到释放。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">关于为什么要加锁和超时时间的设定在文章开头【避免死锁】有提到，不明白的可以多看看。 <blockquote style="letter-spacing: normal;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 0.9em;border-left-width: 6px;border-left-color: rgb(220, 230, 240);padding: 15px 15px 15px 1rem;border-radius: 8px;color: rgb(129, 145, 152);background: rgb(242, 247, 251);overflow: auto;overflow-wrap: normal;word-break: normal;"> Redis正确的加锁命令是什么？ </blockquote> <pre style="color: rgb(224, 226, 228);background: rgb(40, 43, 46);font-size: 14px;letter-spacing: normal;text-align: left;line-height: 1.5;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;overflow-x: auto;border-radius: 8px;margin: 10px 8px;"><span style="padding: initial;display: block;height: 25px;background-color: transparent;background-image: url("https://mmbiz.qpic.cn/mmbiz_svg/VzQsdzsGScPov1icicO8OktPuxZfVBHbtfOVFpsiaSxNKpr8Esic64QtYn3eZkSQibEjc2jvYbbJdFW2djeQJ299LTfhWd7qObiaRE/640?wx_fmt=svg&from=appmsg");background-position: 14px 10px;background-repeat: no-repeat;background-size: 40px;"><code style="font-family: Menlo, "Operator Mono", Consolas, Monaco, monospace;display: -webkit-box;overflow-x: auto;line-height: 1.75;margin-right: 2px;margin-left: 2px;white-space-collapse: collapse;padding: 2px 4px;border-radius: 4px;">//保证原子性执行命令 SET lKey randId NX PX 30000</code></pre> <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rgb(63, 63, 63);">randId是由客户端生成的一个随机字符串，该客户端加锁时具有唯一性，主要是为了避免释放别人的锁。 <p style="font-size: 14px;text-wrap: wrap;text-align: left;line-height: 1.75;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;margin-top: 1.5em;margin-bottom: 1.5em;letter-spacing: 0.1em;color: rg

Grafana实现搭建免密登录大屏教程

作者：微信小助手

<img class="rich_pages wxw-img" data-galleryid="" data-imgfileid="100008763" data-ratio="0.42314814814814816" data-s="300,640" src="/upload/1384189701ac5ced7af270b8717ca2a.png" data-type="png" data-w="1080" style=""> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">1.背景</h3> 经常会有这样一种场景，在办公室或是监控中心能够有一块屏幕来监控和展示一些软件、硬件的详细信息，比如运维比较关心的CPU/内存/硬盘的指标或者系统软件的运行信息等。当我们用grafana来展示时，发现每次都需要手动登录并切换到标签页，才能看到详细信息，而我们希望系统操作系统只要一开机后就能自动切换到我们的屏幕上，方便实现自动化。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">2.实现原理</h2> 创建一个免密登录用户，使用大屏归属于此用户上，使用grafana的免密登录加大屏的链接分享实现。即直接访问一个固定链接（无论是否登录）都能够看到此页面。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008761" data-ratio="0.49074074074074076" src="/upload/c552c62efbb7f351eb9a208df38863ac.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">3.实现过程</h2> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">3.1 创建免密用户</h3> 首先使用admin管理员账户登录grafana，找到orgs用户组管理。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008764" data-ratio="0.47129629629629627" src="/upload/d48d5320c1d8c0e76a022290eb45ad26.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 添加一个用户组home(根据实际情况修改，我这里以家庭演示为例)： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008766" data-ratio="0.39166666666666666" src="/upload/36d961792bbee56bca63a4caf50f1f0f.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 创建完会新增一个home用户组： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008768" data-ratio="0.3398148148148148" src="/upload/7928216cce14f43d1aeb3be20473deae.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 在user下边创建一个home用户：<img class="rich_pages wxw-img" data-imgfileid="100008770" data-ratio="0.32407407407407407" src="/upload/e3929b5c682fff31434226548fb14e1d.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> 创建完如下图所示： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008767" data-ratio="0.32222222222222224" src="/upload/ece12fc445e08c2bbeb64d4df9426736.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">3.2.授权免密登录</h3> 打开grafana的配置文件，在修改前备份： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_png/Lm4IarPJiaOMA1bfv0v3TSaMj8Uam7KyerWqXDnTBFeotiay1WCPLbc3UqiaBlT1RFU8SSZTWlTn5poXsuvnmGydA/640?wx_fmt=png&from=appmsg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #1E1E1E;border-radius: 5px;">cp grafana.ini grafana.ini.bak </code></pre> 打开配置文件： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_png/Lm4IarPJiaOMA1bfv0v3TSaMj8Uam7KyerWqXDnTBFeotiay1WCPLbc3UqiaBlT1RFU8SSZTWlTn5poXsuvnmGydA/640?wx_fmt=png&from=appmsg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #1E1E1E;border-radius: 5px;">vim grafana.ini </code></pre> 找到如图所示的配置：<img class="rich_pages wxw-img" data-imgfileid="100008769" data-ratio="0.42962962962962964" src="/upload/d06e7855d306485369a18186091a4eba.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> 将注释取消： #表示开启匿名登录 enabled = true #修改为之前建立的home组织 org_name = home #角色为观看者 org_role = Viewer #隐藏版本 hide_version = true <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_png/Lm4IarPJiaOMA1bfv0v3TSaMj8Uam7KyerWqXDnTBFeotiay1WCPLbc3UqiaBlT1RFU8SSZTWlTn5poXsuvnmGydA/640?wx_fmt=png&from=appmsg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #1E1E1E;border-radius: 5px;">[auth.anonymous] # enable anonymous access enabled = true # specify organization name that should be used for unauthenticated users org_name = home # specify role for unauthenticated users org_role = Viewer # mask the Grafana version number for unauthenticated users hide_version = true </code></pre> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008774" data-ratio="0.48148148148148145" src="/upload/ee3e9bbb11bb0354ec6fee2de928da56.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 修改完后保存配置后重启： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_png/Lm4IarPJiaOMA1bfv0v3TSaMj8Uam7KyerWqXDnTBFeotiay1WCPLbc3UqiaBlT1RFU8SSZTWlTn5poXsuvnmGydA/640?wx_fmt=png&from=appmsg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #1E1E1E;border-radius: 5px;">docker restart grafana </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">3.3 配置大屏</h3> 切换到home组织下： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008772" data-ratio="1.762962962962963" src="/upload/dcf8918ab130b727ef5eafc1a0933014.png" data-type="png" data-w="810" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 在组织下根据自己的情况再建立一个数据源： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008771" data-ratio="0.32222222222222224" src="/upload/1e01d1c79de0f7f4cf8045ece7ecfd2f.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 和大屏： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008773" data-ratio="0.33796296296296297" src="/upload/42547c8214f45ea1244f183d434a3669.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 对大屏配置“仅浏览权限”，点击右上角的齿轮： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008775" data-ratio="0.30185185185185187" src="/upload/4e72bf78d845e06b3e4b324862767e43.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 确保Viewer权限为view，然后保存。<img class="rich_pages wxw-img" data-imgfileid="100008779" data-ratio="0.2462962962962963" src="/upload/7dabf109e7c9a0f6d22c1a623d6d75c.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> 回到大屏，点击分享图标： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008776" data-ratio="0.31296296296296294" src="/upload/5af3cf430b10b8019dd13c51cffc7bf4.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> 将shorten URL打勾，最后拷贝生成的链接即可。<img class="rich_pages wxw-img" data-imgfileid="100008777" data-ratio="0.5296296296296297" src="/upload/96d51c0d80392fd8b55e3d01e2af6ad2.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">3.4 测试</h3> 将生成的链接发送给手机测试，直接可以看到大屏展示的效果，测试成功！ <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100008778" data-ratio="0.462037037037037" src="/upload/ed46a6e06a0c7bff07bdb3d5d795d7d9.png" data-type="png" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">4.最后</h2> 如果需要完成上电自启动展示，搭配浏览器自启动实现，在后续出详细教程，欢迎关注！ </section> <img class="rich_pages wxw-img" data-ratio="1" src="/upload/ba49e27fb394ea681b84321e80211c96.null" data-w="128" style="display:inline-block;width:20px;vertical-align:middle;background-size:cover;">往期推荐： <ol class="list-paddingleft-1" style="list-style-type: decimal;"> <li><a target="_blank" href="http://mp.weixin.qq.com/s?__biz=MzU0MzQ3ODc4OA==&mid=2247492368&idx=1&sn=7ab94920a02f0b373b5883db13cf161b&chksm=fb08667bcc7fef6ddf18a09d384bbe4408b3226d4b6682fe6aef0cf7b4976fa3185358dcba7f&scene=21#wechat_redirect" textvalue="快捷传输文件利器之sftp命令" linktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="2">快捷传输文件利器之sftp命令</a> </li> <li><a target="_blank" href="http://mp.weixin.qq.com/s?__biz=MzU0MzQ3ODc4OA==&mid=2247492352&idx=1&sn=7f748b30237647bdc51270f2b311bc88&chksm=fb08666bcc7fef7d434851862986fd29ed21c23987d78c4ea80dad4a68a2eae67871995b8b68&scene=21#wechat_redirect" textvalue="Linux中10个一线工作中常用 Shell 脚本" linktype="text" imgurl="" imgdata="null" data-itemshowtype="11" tab="innerlink" data-linktype="2">Linux中10个一线工作中常用 Shell 脚本</a></li> <li><a target="_blank" href="http://mp.weixin.qq.com/s?__biz=MzU0MzQ3ODc4OA==&mid=2247492349&idx=1&sn=3850ffbdad0954c3a9a9d89460dcafec&chksm=fb086796cc7fee80d6205fcc4153d64276c79b66b7303f549e8623d8b936983785a4d62fe3b6&scene=21#wechat_redirect" textvalue="建议收藏！Linux下Java/Python启动管理脚本" linktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="2">建议收藏！Linux下Java/Python启动管理脚本</a></li> </ol> <section class="mp_profile_iframe_wrp"> <mp-common-profile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="MzU0MzQ3ODc4OA==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/Lm4IarPJiaOMF9KKX3xyk5ib5cysnFIysk11uTA5k2USlXWkljPmPibtU8H9QiaGFrENiacvu6PRQokmVe1ibPjvaggg/0?wx_fmt=png" data-nickname="运维贼船" data-alias="yunweizeichuan" data-signature="90后运维老司机，折腾各种服务器软硬件、树莓派、软路由。公众号分享大量Linux干货，包括Linux基础、Linux应用、服务器技术，软件，以及Python等前沿实用系列教程" data-from="0" data-is_biz_ban="0"></mp-common-profile> </section> <mp-style-type data-value="3"></mp-style-type>

文章列表