Java学习者

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="line-height: 1.6;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding: 5px;font-size: 16px;color: rgb(53, 53, 53);word-spacing: 0.8px;letter-spacing: 0.8px;border-radius: 16px;" data-mpa-powered-by="yiban.io"> 大家好，我是不才陈某~ 在实际项目开发中我们经常需要对接口进行版本管理。那今天我们就来聊聊为什么需要版本控制，以及如何对REST API进行版本控制。我们将讨论4种版本控制的方法，并比较不同的方法。 通过此文您将学到 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 为什么我们需要对RESTful API 进行版本控制? </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 可用的版本控制有哪些? </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 如何实现基于 Restful 的版本控制? </section></li> </ul> <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">为什么我们需要对RESTful API进行版本化</h2> 最好的版本控制方法是不进行版本控制。只要不需要版本控制，就不要版本控制。 <blockquote data-tool="mdnice编辑器" style="border-width: initial;border-style: none;border-color: initial;font-size: 0.9em;overflow: auto;margin-bottom: 20px;margin-top: 20px;padding-top: 15px;padding-right: 10px;padding-bottom: 15px;line-height: 1.75;border-radius: 13px;color: rgb(53, 53, 53);background: rgb(245, 245, 245);"> “ 构建向后兼容的服务，以便尽可能避免版本控制！ ” </blockquote> 然而，在许多情况下我们都需要进行版本控制，然我们看看下面具体的例子： 最初，你有个这个版本的Student服务，返回数据如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">{   "name": "Bob Charlie" } </code></pre> 后来，您希望将学生的名字拆分，因此创建了这个版本的服务。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">{   "name": {     "firstName": "Bob",     "lastName": "Charlie"   } } </code></pre> 您可以从同一个服务支持这两个请求，但是随着每个版本的需求多样化，它会变得越来越复杂。 在这种情况下，版本控制就成必不可少，强制性的了。 接下来让我们创建一个简单的SpringBoot的maven项目，并理解对 RESTful 服务进行版本控制的4种不同方法。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;"><dependencies>  <dependency>   <groupId>org.springframework.boot</groupId>   <artifactId>spring-boot-starter</artifactId>  </dependency>  <dependency>   <groupId>org.springframework.boot</groupId>   <artifactId>spring-boot-starter-web</artifactId>  </dependency>  <dependency>   <groupId>org.projectlombok</groupId>   <artifactId>lombok</artifactId>  </dependency>  <dependency>   <groupId>org.springframework.boot</groupId>   <artifactId>spring-boot-starter-test</artifactId>   <scope>test</scope>  </dependency> </dependencies> </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">几个用于实现版本控制的Bean</h3> 第一个版本的 Bean <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">@Data @AllArgsConstructor public class StudentV1 {     private String name; } </code></pre> 第二个版本的 Bean <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">@Data public class StudentV2 {     private Name name; } </code></pre> StudentV2使用的Name实体 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">@Data @AllArgsConstructor public class Name {     private String firstName;     private String lastName; } </code></pre> <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">Restful 版本控制的方法</h2> 我们希望创建两个版本的服务，一个返回 StudentV1，另一个返回 StudentV2。 让我们来看看创建相同服务版本的4种不同方法。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">通过 URI 进行版本控制</h3> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">@RestController public class StudentUriController {     @GetMapping("v1/student")     public StudentV1 studentV1() {         return new StudentV1("javadaily");     }     @GetMapping("v2/student")     public StudentV2 studentV2() {         return new StudentV2(new Name("javadaily", "JAVA日知录"));     } } </code></pre> 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/v1/student</code> 响应：{"name":"javadaily"} 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/v2/student</code> 响应：{"name":{"firstName":"javadaily","lastName":"JAVA日知录"}} <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">通过请求参数进行版本控制</h3> 版本控制的第二种方法是使用请求参数来区分版本。请求示例如下所示： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/param?version=1</code> </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/param?version=2</code> </section></li> </ul> 实现方式如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">@RestController public class StudentParmController {     @GetMapping(value="/student/param",params = "version=1")     public StudentV1 studentV1() {         return new StudentV1("javadaily");     }     @GetMapping(value="/student/param",params = "version=2")     public StudentV2 studentV2() {         return new StudentV2(new Name("javadaily", "JAVA日知录"));     } } </code></pre> 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/param?version=1</code> 响应：{"name":"javadaily"} 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/param?version=2</code> 响应：{"name":{"firstName":"javadaily","lastName":"JAVA日知录"}} <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">通过自定义Header进行版本控制</h3> 版本控制的第三种方法是使用请求头来区分版本，请求示例如下： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/header</code> </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> headers=[X-API-VERSION=1] </section></li> </ul> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/header</code> </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> headers=[X-API-VERSION=2] </section></li> </ul> </ul> 实现方式如下所示： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">@RestController public class StudentHeaderController {     @GetMapping(value="/student/header",headers = "X-API-VERSION=1")     public StudentV1 studentV1() {         return new StudentV1("javadaily");     }     @GetMapping(value="/student/header",headers = "X-API-VERSION=2")     public StudentV2 studentV2() {         return new StudentV2(new Name("javadaily", "JAVA日知录"));     } } </code></pre> 下图展示了我们如何使用Postman执行带有请求头的Get请求方法。 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/header</code> header：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">X-API-VERSION = 1</code> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.3175" src="/upload/af6482154eaa9ee4d395f45158fa9980.png" data-type="png" data-w="800" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> <figcaption style="margin-top: 5px;text-align: center;color: rgb(136, 136, 136);font-size: 12px;"> </figcaption> </figure> 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/header</code> header：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">X-API-VERSION = 2</code> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.36625" src="/upload/158a842ee473c0908c924d3fb8cd1fa8.png" data-type="png" data-w="800" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> <figcaption style="margin-top: 5px;text-align: center;color: rgb(136, 136, 136);font-size: 12px;"> </figcaption> </figure> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">通过媒体类型进行版本控制</h3> 最后一种版本控制方法是在请求中使用Accept Header，请求示例如下： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/produce</code> </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">headers=[Accept=application/api-v1+json]</code> </section></li> </ul> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/produce</code> </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">headers=[Accept=application/api-v2+json]</code> </section></li> </ul> </ul> 实现方式如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hNWCQ9bibbzEGR101C4cWRWpQnrSk0Po0x5onwkQOzibpw0icBRxS1alMPvEACCc9sXpJoGhJvs3p1icU02RKMSmN1My4TEPLKrV/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">@RestController public class StudentProduceController {     @GetMapping(value="/student/produce",produces = "application/api-v1+json")     public StudentV1 studentV1() {         return new StudentV1("javadaily");     }     @GetMapping(value="/student/produce",produces = "application/api-v2+json")     public StudentV2 studentV2() {         return new StudentV2(new Name("javadaily", "JAVA日知录"));     } } </code></pre> 下图展示了我们如何使用Postman执行带有请求Accept的Get方法。 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/produce</code> header：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">Accept = application/api-v1+json</code> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.335" src="/upload/ff5903f914387d88c647a2c94344f372.png" data-type="png" data-w="800" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> <figcaption style="margin-top: 5px;text-align: center;color: rgb(136, 136, 136);font-size: 12px;"> </figcaption> </figure> 请求：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">http://localhost:8080/student/produce</code> header：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">Accept = application/api-v2+json</code> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.355" src="/upload/2956973e529b0257a3dfdc361872da4c.png" data-type="png" data-w="800" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> <figcaption style="margin-top: 5px;text-align: center;color: rgb(136, 136, 136);font-size: 12px;"> </figcaption> </figure> <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">影响版本选择的因素</h2> 以下因素影响版本控制的选择 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> URI 污染 - URL版本和请求参数版本控制会污染URI空间。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 滥用请求头 - Accept 请求头并不是为版本控制而设计的。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 缓存 - 如果你使用基于头的版本控制，我们不能仅仅基于URL缓存，你需要考虑特定的请求头。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 是否能在浏览器直接执行 ? - 如果您有非技术消费者，那么基于URL的版本将更容易使用，因为它们可以直接在浏览器上执行。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> API文档 - 如何让文档生成理解两个不同的url是同一服务的版本？ </section></li> </ul> <blockquote data-tool="mdnice编辑器" style="border-width: initial;border-style: none;border-color: initial;font-size: 0.9em;overflow: auto;margin-bottom: 20px;margin-top: 20px;padding-top: 15px;padding-right: 10px;padding-bottom: 15px;line-height: 1.75;border-radius: 13px;color: rgb(53, 53, 53);background: rgb(245, 245, 245);"> “ 事实上，并没有完美的版本控制解决方案，你需要根据项目实际情况进行选择。 ” </blockquote> 下面列表展示了主要API提供商使用的不同版本控制方法： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 媒体类型的版本控制 </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> Github </section></li> </ul> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 自定义Header </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> Microsoft </section></li> </ul> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> URI路径 </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> Twitter，百度，知乎 </section></li> </ul> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 请求参数控制 </section></li> <ul style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);list-style-type: square;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> Amazon </section></li> </ul> </ul> 好了，今天的文章就到这里了，希望能对你有所帮助。 </section> <section class="mp_profile_iframe_wrp"> <mpprofile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="MzAwMTk4NjM1MA==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/PxMzT0Oibf4gcBzLSUNh2cgXUsuLIsvQYJE1lzZd74qpC3iciaM6gcYIfOVV0KjDDkeN4CTLTn4ETPtaHOAuTWSWA/0?wx_fmt=png" data-nickname="JAVA日知录" data-alias="javadaily" data-signature="写代码的架构师，做架构的程序员！实战、源码、数据库、架构...只要你来，你想了解的这里都有！" data-from="0"></mpprofile> </section> <section> </section> <span style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: right;color: rgb(53, 53, 53);font-size: 16px;word-spacing: 0.8px;background-color: rgb(255, 255, 255);">求点赞、在看、分享三连<img class="rich_pages wxw-img" data-fileid="100011967" data-ratio="1" data-type="png" data-w="20" src="/upload/1d550a991385b842a21e2b301725407e.png" style="outline: 0px;vertical-align: text-bottom;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: right;white-space: normal;color: rgb(53, 53, 53);font-size: 16px;word-spacing: 0.8px;background-color: rgb(255, 255, 255);display: inline-block;box-sizing: border-box !important;visibility: visible !important;width: 20px !important;">

12306抢票算法被曝光了！！居然这么简单！

作者：微信小助手

<blockquote class="js_blockquote_wrap" data-type="2" data-url="" data-author-name="" data-content-utf8-length="11" data-source-title="" data-mpa-powered-by="yiban.io"> <section class="js_blockquote_digest"> <section style="text-align: left;"> 来自公众号：<span style="color: rgb(0, 82, 255);font-size: 14px;outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: start;">程序员小饭 </section> </section> </blockquote> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;padding-right: 10px;padding-left: 10px;word-break: break-word;text-align: left;line-height: 1.25;color: rgb(43, 43, 43);font-family: Optima-Regular, Optima, PingFangTC-Light, PingFangSC-light, PingFangTC-light;letter-spacing: 2px;background-image: linear-gradient(90deg, rgba(50, 0, 0, 0.04) 3%, rgba(0, 0, 0, 0) 3%), linear-gradient(360deg, rgba(50, 0, 0, 0.04) 3%, rgba(0, 0, 0, 0) 3%);background-size: 20px 20px;background-position: center center;"> <h1 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 25px;">导读</h1> 相信大家应该都有抢火车票的经验，每年年底，这都是一场盛宴。然而你有没有想过抢火车票这个算法是怎么实现的呢？应该没有吧，咱们今天就来一一探讨。其实并没有你想的那么难 <h1 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 25px;">bitmap与位运算</h1> redis的bitmap基本使用咱们之前已经介绍过了，如果不是很熟悉的朋友可以看看这里 <a target="_blank" href="http://mp.weixin.qq.com/s?__biz=MzA4MjcyNzIzNQ==&mid=2451871578&idx=1&sn=fa26e25430b0978f86b3b03408a699d3&chksm=88516f76bf26e660117c4e05896479259b5daeb78c9050c851a8c5239e61b8c854736e56364c&scene=21#wechat_redirect" data-itemshowtype="0" tab="innerlink" data-linktype="2">redis中setbit(位操作)的实际应用</a> 今天在这里咱们主要是先回顾一下位运算<img class="rich_pages wxw-img" data-ratio="0.3940972222222222" src="/upload/274a9d9f8a6277643ad3d8e84855b943.png" data-type="png" data-w="1152" style="border-radius: 6px;display: block;margin: 20px auto;object-fit: contain;box-shadow: rgb(153, 153, 153) 2px 4px 7px;"> <h1 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 25px;">12306抢票算法详解</h1> <img class="rich_pages wxw-img" data-ratio="0.7598736176935229" src="/upload/b879cf2aba6cb725973baae503a6063a.png" data-type="png" data-w="633" style="border-radius: 6px;display: block;margin: 20px auto;object-fit: contain;box-shadow: rgb(153, 153, 153) 2px 4px 7px;">我们以北京到西安这趟高铁为例，比如我的路线就是从北京到西安，车上如果只剩最后一张票了，那么如果有其他人，在北京到西安这条路线之间买任何一站，那么我都是买不了票的，换句话说，对于单个座位来说，必须是起点到目的地之间的所有站，都没有人买的话，那么才能被算是有票状态。 所以我们可以尝试用bitmap结合上位操作来实现这种场景，以上述北京到西安为例，我们把问题简化 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;font-size: 15px;color: #595959;list-style-type: circle;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;font-size: 14px;"> 比如一个火车上只有4个座位 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;font-size: 14px;"> 北京到西安，一共是4站，其实是三个区间的，分别为北京->石家庄，石家庄->郑州，郑州->西安 </section></li> </ul> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 18px;"><span style="background-image: url("https://mmbiz.qpic.cn/mmbiz_png/KemByjgBE3Dw77auPLbUA7fAfdIx16KIMDH66KicFicP8U1YhRhapNJLpxCGwzEBzINWSxpwQWfaHohdbQnSUtiaw/640?wx_fmt=png");display: inline-block;background-size: 100%;background-position: left bottom;background-repeat: no-repeat;width: 16px;height: 15px;line-height: 15px;margin-right: 6px;margin-bottom: -2px;">首先我们给每个区间构建一个空位图(0为有票，1为无票)</h4> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.3378995433789954" src="/upload/b89685bcebd2431372dba20415757eba.png" data-type="png" data-w="876" style="border-radius: 6px;display: block;margin: 20px auto;object-fit: contain;box-shadow: rgb(153, 153, 153) 2px 4px 7px;"> </figure> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 18px;"><span style="background-image: url("https://mmbiz.qpic.cn/mmbiz_png/KemByjgBE3Dw77auPLbUA7fAfdIx16KIMDH66KicFicP8U1YhRhapNJLpxCGwzEBzINWSxpwQWfaHohdbQnSUtiaw/640?wx_fmt=png");display: inline-block;background-size: 100%;background-position: left bottom;background-repeat: no-repeat;width: 16px;height: 15px;line-height: 15px;margin-right: 6px;margin-bottom: -2px;">接下来，比如有人买了一张从北京到西安的票</h4> 买票这个动作，比如被分配到的座位是编号为1的座位，那么我们直接把北京到西安的所有站，1号座位全部设置为1，如下图 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img data-ratio="0.32860520094562645" src="/upload/a0f7b619c8aea0bf995e9f52b1195e72.png" data-type="png" data-w="846" style="border-radius: 6px;display: block;margin: 20px auto;object-fit: contain;box-shadow: rgb(153, 153, 153) 2px 4px 7px;"> </figure> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 18px;"><span style="background-image: url("https://mmbiz.qpic.cn/mmbiz_png/KemByjgBE3Dw77auPLbUA7fAfdIx16KIMDH66KicFicP8U1YhRhapNJLpxCGwzEBzINWSxpwQWfaHohdbQnSUtiaw/640?wx_fmt=png");display: inline-block;background-size: 100%;background-position: left bottom;background-repeat: no-repeat;width: 16px;height: 15px;line-height: 15px;margin-right: 6px;margin-bottom: -2px;">接下来又有人买了一张从石家庄到西安的票</h4> 比如这次分配的是座位2，那么我们把石家庄到西安的所有票全部设置为1就行了，如下图<img class="rich_pages wxw-img" data-ratio="0.35079726651480636" src="/upload/834f8812d766fd26ba8eb9f24363fbe5.png" data-type="png" data-w="878" style="border-radius: 6px;display: block;margin: 20px auto;object-fit: contain;box-shadow: rgb(153, 153, 153) 2px 4px 7px;"> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 18px;"><span style="background-image: url("https://mmbiz.qpic.cn/mmbiz_png/KemByjgBE3Dw77auPLbUA7fAfdIx16KIMDH66KicFicP8U1YhRhapNJLpxCGwzEBzINWSxpwQWfaHohdbQnSUtiaw/640?wx_fmt=png");display: inline-block;background-size: 100%;background-position: left bottom;background-repeat: no-repeat;width: 16px;height: 15px;line-height: 15px;margin-right: 6px;margin-bottom: -2px;">如何知道还剩几张票？</h4> 其实解决这个问题很简单，我们直接把上述位图做一个或操作就可以了，因为或操作是必须全部都为0，才为0 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.39086294416243655" src="/upload/b09ba5cfc4179c2f5bb044b541f5f81a.png" data-type="png" data-w="788" style="border-radius: 6px;display: block;margin: 20px auto;object-fit: contain;box-shadow: rgb(153, 153, 153) 2px 4px 7px;"> </figure> 或操作结果有几个0，则说明还剩几张票。 <h1 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 25px;">总结</h1> 其实解决这个问题主要在于位图的构建，因为火车票对于某一个座位来说，只要起点到终点中间某一个区间被占用了(置为1)，那么整个座位都是无效的这个特点，很容易想到用或操作的结果来判断买票结果，我们这里只用了4位是为了方便说明问题，实际中应该是火车上有多少座位，位图的长度就应该是多少。好了，关于抢票算法我们就介绍到这里，你有没有Get到呢？或者你有没有更好的实现方法呢？ <figure style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);text-align: center;"> --- EOF --- </figure> <p style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);"> <section style="outline: 0px;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(53, 53, 53);text-align: start;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;"> <section powered-by="xiumi.us" style="outline: 0px;font-size: 15px;"> <section style="outline: 0px;color: rgb(0, 0, 0);font-size: 16px;font-variant-numeric: normal;letter-spacing: 0.544px;text-align: center;"> <section style="outline: 0px;letter-spacing: 0.544px;color: rgb(89, 89, 89);font-size: 15px;text-align: left;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;font-variant-numeric: normal;letter-spacing: 0.544px;color: rgb(62, 62, 62);font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;font-size: 16px;word-spacing: 2px;widows: 1;line-height: 27.2px;"> <section style="outline: 0px;"> <section style="margin-top: 10px;margin-bottom: 10px;outline: 0px;text-align: center;"> <section style="padding-right: 1em;padding-left: 1em;outline: 0px;display: inline-block;"> <section style="outline: 0px;"> 推荐↓↓↓ </section> </section> <section style="margin-top: -1em;padding: 20px 10px 10px;outline: 0px;border-width: 1px;border-style: solid;border-color: rgb(192, 200, 209);background-color: rgb(239, 239, 239);"> <section style="outline: 0px;"> <section style="outline: 0px;"> <section style="outline: 0px;text-align: left;"> <section class="mp_profile_iframe_wrp"> <mpprofile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="MzA5MTgwOTMzMQ==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/iawSlOAmgP0QN1GotokJSFQk5NtNIRDl4IqVZf4h6MOTYYUlVUtTIEg9CU85ficczjFThpGNhEia7rmrGA387EstA/0?wx_fmt=png" data-nickname="计算机工作原理" data-alias="CoderNews" data-signature="计算机组成原理、计算机系统架构、操作系统原理、编译原理等计算机原理的内容分享。" data-from="0"></mpprofile> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section> </section>

分库分表的 9种分布式主键ID 生成方案，挺全乎的

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" data-mpa-powered-by="yiban.io"> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;padding-right: 10px;padding-left: 10px;line-height: 1.6;word-break: break-word;text-align: left;font-family: -apple-system, system-ui, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;"> <a href="https://mp.weixin.qq.com/s?__biz=MzAxNTM4NzAyNg==&mid=2247488693&idx=1&sn=285fc1e4f675289284ab7623a7891e98&scene=21#wechat_redirect" style="color: rgb(3, 106, 202);border-bottom: 0px;" data-linktype="1"><img class="rich_pages wxw-img" data-ratio="0.5625" src="/upload/ac47083fecef05023ad8fa2fad9b09d2.jpg" data-type="jpeg" data-w="1920" style="margin: 0px;"></a> <section data-mpa-template="t" mpa-from-tpl="t"> <section data-mpa-template="t" mpa-from-tpl="t"> 点击“ 程序员内点事 ”关注，选择“ <a href="http://mp.weixin.qq.com/s?__biz=MzUzMTA2NTU2Ng==&mid=2247486188&idx=3&sn=f160d91ea23e5113e6077c500a2e30c4&chksm=fa49755dcd3efc4bf4f566fbbbf74c191d0b79f2d3222fd211bc52d80b5ef127f52b1158ed71&scene=21#wechat_redirect" target="_blank" data-linktype="2" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);cursor: pointer;">设置星标</a> ” 坚持学习，好文每日送达！ </section> </section> <a href="https://mp.weixin.qq.com/s?__biz=MzAxNTM4NzAyNg==&mid=2247488693&idx=1&sn=285fc1e4f675289284ab7623a7891e98&scene=21#wechat_redirect" style="color: rgb(3, 106, 202);border-bottom: 0px;" data-linktype="2">《sharding-jdbc 分库分表的 4种分片策略》</a> 中我们介绍了 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">sharding-jdbc</code> 4种分片策略的使用场景，可以满足基础的分片功能开发，这篇我们来看看分库分表后，应该如何为分片表生成全局唯一的主键 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">ID</code>。 引入任何一种技术都是存在风险的，分库分表当然也不例外，除非库、表数据量持续增加，大到一定程度，以至于现有高可用架构已无法支撑，否则不建议大家做分库分表，因为做了数据分片后，你会发现自己踏上了一段踩坑之路，而分布式主键 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">ID</code> 就是遇到的第一个坑。 不同数据节点间生成全局唯一主键是个棘手的问题，一张逻辑表 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">t_order</code> 拆分成多个真实表 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">t_order_n</code>，然后被分散到不同分片库 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">db_0</code>、<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">db_1</code>... ，各真实表的自增键由于无法互相感知从而会产生重复主键，此时数据库本身的自增主键，就无法满足分库分表对主键全局唯一的要求。 <pre data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;"> db_0--     |-- t_order_0     |-- t_order_1     |-- t_order_2  db_1--     |-- t_order_0     |-- t_order_1     |-- t_order_2 </code></pre> 尽管我们可以通过严格约束，各个分片表自增主键的 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">初始值</code> 和 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">步长</code> 的方式来解决 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">ID</code> 重复的问题，但这样会让运维成本陡增，而且可扩展性极差，一旦要扩容分片表数量，原表数据变动比较大，所以这种方式不太可取。 <pre data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;"> 步长 step = 分表张数  db_0--     |-- t_order_0  ID: 0、6、12、18...     |-- t_order_1  ID: 1、7、13、19...     |-- t_order_2  ID: 2、8、14、20...  db_1--     |-- t_order_0  ID: 3、9、15、21...     |-- t_order_1  ID: 4、10、16、22...     |-- t_order_2  ID: 5、11、17、23... </code></pre> 目前已经有了许多第三放解决方案可以完美解决这个问题，比如基于 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">UUID</code>、<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">SNOWFLAKE</code>算法、<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">segment</code>号段，使用特定算法生成不重复键，或者直接引用主键生成服务，像美团（<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">Leaf</code>）和滴滴（<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">TinyId</code>）等。 而<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">sharding-jdbc</code> 内置了两种分布式主键生成方案，<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">UUID</code>、<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">SNOWFLAKE</code>，不仅如此它还抽离出分布式主键生成器的接口，以便于开发者实现自定义的主键生成器，后续我们会在自定义的生成器中接入滴滴（<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">TinyId</code>）的主键生成服务。 前边介绍过在 sharding-jdbc 中要想为某个字段自动生成主键 ID，只需要在 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">application.properties</code> 文件中做如下配置: <pre data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;"># 主键字段 spring.shardingsphere.sharding.tables.t_order.key-generator.column=order_id # 主键ID 生成方案 spring.shardingsphere.sharding.tables.t_order.key-generator.type=UUID # 工作机器 id spring.shardingsphere.sharding.tables.t_order.key-generator.props.worker.id=123 </code></pre> <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">key-generator.column</code> 表示主键字段，<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">key-generator.type</code> 为主键 ID 生成方案（内置或自定义的），<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">key-generator.props.worker.id</code> 为机器ID，在主键生成方案设为 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">SNOWFLAKE</code> 时机器ID 会参与位运算。 <blockquote data-tool="mdnice编辑器" style="letter-spacing: 0px;border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;border-left-color: rgb(178, 174, 197);background: rgb(255, 249, 249);"> 在使用 sharding-jdbc 分布式主键时需要注意两点： </blockquote> <ul data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;color: rgb(1, 1, 1);line-height: 2;"> 一旦 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">insert</code> 插入操作的实体对象中主键字段已经赋值，那么即使配置了主键生成方案也会失效，最后SQL 执行的数据会以赋的值为准。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;color: rgb(1, 1, 1);line-height: 2;"> 不要给主键字段设置自增属性，否则主键ID 会以默认的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">SNOWFLAKE</code> 方式生成。比如：用 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">mybatis plus</code> 的 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">@TableId</code> 注解给字段 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">order_id</code> 设置了自增主键，那么此时配置哪种方案，总是按雪花算法生成。 </section></li> </ul> <hr data-tool="mdnice编辑器" style="letter-spacing: 0px;height: 1px;margin-top: 10px;margin-bottom: 10px;border-right: none;border-bottom: none;border-left: none;border-top-style: solid;border-top-color: rgb(19, 92, 224);"> 下面我们从源码上分析下 sharding-jdbc 内置主键生成方案 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">UUID</code>、<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">SNOWFLAKE</code> 是怎么实现的。 <h2 data-tool="mdnice编辑器" style="letter-spacing: 0px;font-weight: bold;padding-top: 30px;padding-bottom: 30px;color: rgb(19, 92, 224);font-size: 20px;">UUID</h2> 打开 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">UUID</code> 类型的主键生成实现类 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">UUIDShardingKeyGenerator</code> 的源码发现，它的生成规则只有 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">UUID.randomUUID()</code> 这么一行代码，额~ 心中默默来了一句<span style="background-image: linear-gradient(to right, rgb(50, 153, 210), rgb(239, 189, 181));background-position: initial;background-size: initial;background-repeat: initial;background-attachment: initial;background-origin: initial;background-clip: initial;color: rgb(255, 255, 255);padding-right: 4px;padding-left: 4px;display: inline-block;border-radius: 4px;margin-right: 2px;margin-left: 2px;letter-spacing: 1px;">卧槽。 UUID 虽然可以做到全局唯一性，但还是不推荐使用它作为主键，因为我们的实际业务中不管是 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">user_id</code> 还是 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">order_id</code> 主键多为整型，而 UUID 生成的是个 32 位的字符串。 它的存储以及查询对 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">MySQL</code> 的性能消耗较大，而且 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">MySQL</code> 官方也明确建议，主键要尽量越短越好，作为数据库主键 UUID 的无序性还会导致数据位置频繁变动，严重影响性能。 <pre data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">public final class UUIDShardingKeyGenerator implements ShardingKeyGenerator {     private Properties properties = new Properties();     public UUIDShardingKeyGenerator() {     }     public String getType() {         return "UUID";     }     public synchronized Comparable<?> generateKey() {         return UUID.randomUUID().toString().replaceAll("-", "");     }     public Properties getProperties() {         return this.properties;     }     public void setProperties(Properties properties) {         this.properties = properties;     } } </code></pre> <h2 data-tool="mdnice编辑器" style="letter-spacing: 0px;font-weight: bold;padding-top: 30px;padding-bottom: 30px;color: rgb(19, 92, 224);font-size: 20px;">SNOWFLAKE</h2> <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">SNOWFLAKE</code>（雪花算法）是默认使用的主键生成方案，生成一个 64bit的长整型（<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">Long</code>）数据。 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">sharding-jdbc</code> 中雪花算法生成的主键主要由 4部分组成，<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">1bit</code>符号位、<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">41bit</code>时间戳位、<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">10bit</code>工作进程位以及 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">12bit</code> 序列号位。 <figure data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.41884057971014493" src="/upload/952fd4085524f97d9149ee63813ecd39.png" data-type="png" data-w="1380" style="display: block;margin-right: auto;margin-left: auto;"> </figure> <h3 data-tool="mdnice编辑器" style="letter-spacing: 0px;font-weight: bold;padding-top: 30px;padding-bottom: 30px;color: rgb(19, 92, 224);">符号位（1bit位）</h3> Java 中 Long 型的最高位是符号位，正数是0，负数是1，一般生成ID都为正数，所以默认为0 <h3 data-tool="mdnice编辑器" style="letter-spacing: 0px;font-weight: bold;padding-top: 30px;padding-bottom: 30px;color: rgb(19, 92, 224);">时间戳位（41bit）</h3> 41位的时间戳可以容纳的毫秒数是 2 的 41次幂，而一年的总毫秒数为 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">1000L * 60 * 60 * 24 * 365</code>，计算使用时间大概是69年，额~，我有生之间算是够用了。 <pre data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">Math.pow(2, 41) / (365 * 24 * 60 * 60 * 1000L) = = 69年  </code></pre> <h3 data-tool="mdnice编辑器" style="letter-spacing: 0px;font-weight: bold;padding-top: 30px;padding-bottom: 30px;color: rgb(19, 92, 224);">工作进程位（10bit）</h3> 表示一个唯一的工作进程id，默认值为 0，可通过 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">key-generator.props.worker.id</code> 属性设置。 <pre data-tool="mdnice编辑器" style="letter-spacing: 0px;margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">spring.shardingsphere.sharding.tables.t_order.key-generator.props.worker.id=0000 </code></pre> <h3 data-tool="mdnice编辑器" style="letter-spacing: 0px;font-weight: bold;padding-top: 30px;padding-bottom: 30px;color: rgb(19, 92, 224);">序列号位（12bit）</h3> 同一毫秒内生成不同的ID。 <h3 data-tool="mdnice编辑器" style="letter-spacing: 0px;font-weight: bold;padding-top: 30px;padding-bottom: 30px;color: rgb(19, 92, 224);">时钟回拨</h3> 了解了雪花算法的主键 ID 组成后不难发现，这是一种严重依赖于服务器时间的算法，而依赖服务器时间的就会遇到一个棘手的问题：<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">时钟回拨</code>。 <span style="background-image: linear-gradient(to right, rgb(50, 153, 210), rgb(239, 189, 181));background-position: initial;background-size: initial;background-repeat: initial;background-attachment: initial;background-origin: initial;background-clip: initial;color: rgb(255, 255, 255);padding-right: 4px;padding-left: 4px;display: inline-block;border-radius: 4px;margin-right: 2px;margin-left: 2px;letter-spacing: 1px;">为什么会出现时钟回拨呢？ 互联网中有一种网络时间协议 <code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;color: rgb(19, 148, 216);padding: 2px 6px;word-break: normal;">ntp</code> 全称 (<code style="font-size: 14px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consola

实战！玩转Redis必备的几款运维工具！

作者：微信小助手

实战！Spring Boot 整合阿里开源中间件 Canal 实现数据增量同步！

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="line-height: 1.6;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;padding: 5px;font-size: 16px;color: rgb(53, 53, 53);word-spacing: 0.8px;letter-spacing: 0.8px;border-radius: 16px;" data-mpa-powered-by="yiban.io"> 大家好，我是不才陈某~ 数据同步一直是一个令人头疼的问题。在业务量小，场景不多，数据量不大的情况下我们可能会选择在项目中直接写一些定时任务手动处理数据，例如从多个表将数据查出来，再汇总处理，再插入到相应的地方。 但是随着业务量增大，数据量变多以及各种复杂场景下的分库分表的实现，使数据同步变得越来越困难。 今天这篇文章使用阿里开源的中间件Canal解决数据增量同步的痛点。 文章目录如下： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.6675925925925926" src="/upload/4f92e2d2c4e541a48d7ab612394f8f6e.png" data-type="png" data-w="1080" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">Canal是什么？</h2> canal译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。 从这句话理解到了什么？ 基于MySQL，并且通过MySQL日志进行的增量解析，这也就意味着对原有的业务代码完全是无侵入性的。 <blockquote data-tool="mdnice编辑器" style="border-width: initial;border-style: none;border-color: initial;font-size: 0.9em;overflow: auto;margin-bottom: 20px;margin-top: 20px;padding-top: 15px;padding-right: 10px;padding-bottom: 15px;line-height: 1.75;border-radius: 13px;color: rgb(53, 53, 53);background: rgb(245, 245, 245);"> “ 工作原理：解析MySQL的binlog日志，提供增量数据。 ” </blockquote> 基于日志增量订阅和消费的业务包括 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 数据库镜像 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 数据库实时备份 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 索引构建和实时维护(拆分异构索引、倒排索引等) </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 业务 cache 刷新 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 带业务逻辑的增量数据处理 </section></li> </ul> 当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x。 <blockquote data-tool="mdnice编辑器" style="border-width: initial;border-style: none;border-color: initial;font-size: 0.9em;overflow: auto;margin-bottom: 20px;margin-top: 20px;padding-top: 15px;padding-right: 10px;padding-bottom: 15px;line-height: 1.75;border-radius: 13px;color: rgb(53, 53, 53);background: rgb(245, 245, 245);"> “ 官方文档：https://github.com/alibaba/canal ” </blockquote> <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">Canal数据如何传输？</h2> 先来一张官方图： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.526818515797208" src="/upload/62b3d37dbef68080060e4a47bec76d19.png" data-type="png" data-w="1361" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> Canal分为服务端和客户端，这也是阿里常用的套路，比如前面讲到的注册中心Nacos： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: rgb(248, 57, 41);" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 服务端：负责解析MySQL的binlog日志，传递增量数据给客户端或者消息中间件 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(53, 53, 53);"> 客户端：负责解析服务端传过来的数据，然后定制自己的业务处理。 </section></li> </ul> 目前为止支持的消息中间件很全面了，比如Kafka、RocketMQ，RabbitMQ。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">数据同步还有其他中间件吗？</h2> 有，当然有，还有一些开源的中间件也是相当不错的，比如Bifrost。 常见的几款中间件的区别如下： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.4148148148148148" src="/upload/6c6113d1615872f832b12152eeeee3f8.png" data-type="other" data-w="1080" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> 当然要我选择的话，首选阿里的中间件Canal。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">Canal服务端安装</h2> 服务端需要下载压缩包，下载地址：https://github.com/alibaba/canal/releases 目前最新的是v1.1.5，点击下载： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.2833698030634573" src="/upload/a3eac37fa40b70b42ec282f74d2c216.png" data-type="png" data-w="914" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> 下载完成解压，目录如下： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.2263959390862944" src="/upload/f0a3b798e550b62f2f03701fb511ba17.png" data-type="png" data-w="985" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> 本文使用Canal+RabbitMQ进行数据的同步，因此下面步骤完全按照这个base进行。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">1、打开MySQL的binlog日志</h3> 修改MySQL的日志文件，my.cnf 配置如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">[mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">2、设置MySQL的配置</h3> 需要设置服务端配置文件中的MySQL配置，这样Canal才能知道需要监听哪个库、哪个表的日志文件。 一个 Server 可以配置多个实例监听，Canal 功能默认自带的有个 example 实例，本篇就用 example 实例。如果增加实例，复制 example 文件夹内容到同级目录下，然后在 <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;color: rgb(255, 93, 108);">canal.properties</code> 指定添加实例的名称。 修改canal.deployer-1.1.5\conf\example\instance.properties配置文件 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;"># url canal.instance.master.address=127.0.0.1:3306 # username/password canal.instance.dbUsername=root canal.instance.dbPassword=root # 监听的数据库 canal.instance.defaultDatabaseName=test # 监听的表，可以指定，多个用逗号分割，这里正则是监听所有 canal.instance.filter.regex=.*\\..* </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">3、设置RabbitMQ的配置</h3> 服务端默认的传输方式是tcp，需要在配置文件中设置MQ的相关信息。 这里需要修改两处配置文件，如下； 1、canal.deployer-1.1.5\conf\canal.properties 这个配置文件主要是设置MQ相关的配置，比如URL，用户名、密码... <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;"># 传输方式：tcp, kafka, rocketMQ, rabbitMQ canal.serverMode = rabbitMQ ################################################## ######### RabbitMQ ############# ################################################## rabbitmq.host = 127.0.0.1 rabbitmq.virtual.host =/ # exchange rabbitmq.exchange =canal.exchange # 用户名、密码 rabbitmq.username =guest rabbitmq.password =guest ## 是否持久化 rabbitmq.deliveryMode = 2 </code></pre> 2、canal.deployer-1.1.5\conf\example\instance.properties 这个文件设置MQ的路由KEY，这样才能路由到指定的队列中，如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">canal.mq.topic=canal.routing.key </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">4、RabbitMQ新建exchange和Queue</h3> 在RabbitMQ中需要新建一个canal.exchange（必须和配置中的相同）的exchange和一个名称为 canal.queue（名称随意）的队列。 其中绑定的路由KEY为：canal.routing.key（必须和配置中的相同），如下图： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.3457142857142857" src="/upload/e2518762de559381714b573bf5f092fc.png" data-type="png" data-w="700" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">5、启动服务端</h3> 点击bin目录下的脚本，windows直接双击startup.bat，启动成功如下： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.2914572864321608" src="/upload/1b0b623b83d962a04b511375aceb996b.png" data-type="png" data-w="1194" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">6、测试</h3> 在本地数据库test中的oauth_client_details插入一条数据，如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">INSERT INTO `oauth_client_details` VALUES ('myjszl', 'res1', '$2a$10$F1tQdeb0SEMdtjlO8X/0wO6Gqybu6vPC/Xg8OmP9/TL1i4beXdK9W', 'all', 'password,refresh_token,authorization_code,client_credentials,implicit', 'http://www.baidu.com', NULL, 1000, 1000, NULL, 'false'); </code></pre> 此时查看MQ中的canal.queue已经有了数据，如下： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.15148247978436657" src="/upload/9cffa00c3dc6b278f0450fbbc14ec2cc.png" data-type="png" data-w="1855" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> 其实就是一串JSON数据，这个JSON如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">{  "data": [{   "client_id": "myjszl",   "resource_ids": "res1",   "client_secret": "$2a$10$F1tQdeb0SEMdtjlO8X/0wO6Gqybu6vPC/Xg8OmP9/TL1i4beXdK9W",   "scope": "all",   "authorized_grant_types": "password,refresh_token,authorization_code,client_credentials,implicit",   "web_server_redirect_uri": "http://www.baidu.com",   "authorities": null,   "access_token_validity": "1000",   "refresh_token_validity": "1000",   "additional_information": null,   "autoapprove": "false"  }],  "database": "test",  "es": 1640337532000,  "id": 7,  "isDdl": false,  "mysqlType": {   "client_id": "varchar(48)",   "resource_ids": "varchar(256)",   "client_secret": "varchar(256)",   "scope": "varchar(256)",   "authorized_grant_types": "varchar(256)",   "web_server_redirect_uri": "varchar(256)",   "authorities": "varchar(256)",   "access_token_validity": "int(11)",   "refresh_token_validity": "int(11)",   "additional_information": "varchar(4096)",   "autoapprove": "varchar(256)"  },  "old": null,  "pkNames": ["client_id"],  "sql": "",  "sqlType": {   "client_id": 12,   "resource_ids": 12,   "client_secret": 12,   "scope": 12,   "authorized_grant_types": 12,   "web_server_redirect_uri": 12,   "authorities": 12,   "access_token_validity": 4,   "refresh_token_validity": 4,   "additional_information": 12,   "autoapprove": 12  },  "table": "oauth_client_details",  "ts": 1640337532520,  "type": "INSERT" } </code></pre> 每个字段的意思已经很清楚了，有表名称、方法、参数、参数类型、参数值..... 客户端要做的就是监听MQ获取JSON数据，然后将其解析出来，处理自己的业务逻辑。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">Canal客户端搭建</h2> 客户端很简单实现，要做的就是消费Canal服务端传递过来的消息，监听canal.queue这个队列。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">1、创建消息实体类</h3> MQ传递过来的是JSON数据，当然要创建个实体类接收数据，如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">/**  * @author 公众号 码猿技术专栏  * Canal消息接收实体类  */ @NoArgsConstructor @Data public class CanalMessage<T> {     @JsonProperty("type")     private String type;     @JsonProperty("table")     private String table;     @JsonProperty("data")     private List<T> data;     @JsonProperty("database")     private String database;     @JsonProperty("es")     private Long es;     @JsonProperty("id")     private Integer id;     @JsonProperty("isDdl")     private Boolean isDdl;     @JsonProperty("old")     private List<T> old;     @JsonProperty("pkNames")     private List<String> pkNames;     @JsonProperty("sql")     private String sql;     @JsonProperty("ts")     private Long ts; } </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">2、MQ消息监听业务</h3> 接下来就是监听队列，一旦有Canal服务端有数据推送能够及时的消费。 代码很简单，只是给出个接收的案例，具体的业务逻辑可以根据业务实现，如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">import cn.hutool.json.JSONUtil; import cn.myjszl.middle.ware.canal.mq.rabbit.model.CanalMessage; import lombok.RequiredArgsConstructor; import lombok.extern.slf4j.Slf4j; import org.springframework.amqp.rabbit.annotation.Exchange; import org.springframework.amqp.rabbit.annotation.Queue; import org.springframework.amqp.rabbit.annotation.QueueBinding; import org.springframework.amqp.rabbit.annotation.RabbitListener; import org.springframework.stereotype.Component; /**  * 监听MQ获取Canal增量的数据消息  */ @Component @Slf4j @RequiredArgsConstructor public class CanalRabbitMQListener {     @RabbitListener(bindings = {             @QueueBinding(                     value = @Queue(value = "canal.queue", durable = "true"),                     exchange = @Exchange(value = "canal.exchange"),                     key = "canal.routing.key"             )     })     public void handleDataChange(String message) {         //将message转换为CanalMessage         CanalMessage canalMessage = JSONUtil.toBean(message, CanalMessage.class);         String tableName = canalMessage.getTable();         log.info("Canal 监听 {} 发生变化；明细：{}", tableName, message);         //TODO 业务逻辑自己完善...............     } } </code></pre> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 20px;">3、测试</h3> 下面向表中插入数据，看下接收的消息是什么样的，SQL如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/A7sq8BD8oewJibQ3rHv2SQ22vVQCHQnqHMdOU3sqyHGAKo6YLdcfEEdG4oyeAsf8UDak0l6JXnW2m6gEDwibGoalqOnAtHbYnh/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(250, 250, 250);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #fafafa;border-radius: 5px;">INSERT INTO `oauth_client_details` VALUES  ( 'myjszl', 'res1', '$2a$10$F1tQdeb0SEMdtjlO8X/0wO6Gqybu6vPC/Xg8OmP9/TL1i4beXdK9W', 'all', 'password,refresh_token,authorization_code,client_credentials,implicit', 'http://www.baidu.com', NULL, 1000, 1000, NULL, 'false' ); </code></pre> 客户端转换后的消息如下图： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;padding: 0px 0.5em;"> <img class="rich_pages wxw-img" data-ratio="0.5620578778135048" src="/upload/db6e09c8f5ce87c434f6f99b34a1df99.png" data-type="png" data-w="1555" style="border-radius: 9px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;box-shadow: rgb(210, 210, 210) 0em 0em 0.5em 0px;font-size: 17px;"> </figure> 上图可以看出所有的数据都已经成功接收到，只需要根据数据完善自己的业务逻辑即可。 <blockquote data-tool="mdnice编辑器" style="border-width: initial;border-style: none;border-color: initial;font-size: 0.9em;overflow: auto;margin-bottom: 20px;margin-top: 20px;padding-top: 15px;padding-right: 10px;padding-bottom: 15px;line-height: 1.75;border-radius: 13px;color: rgb(53, 53, 53);background: rgb(245, 245, 245);"> “ 客户端案例源码已经上传GitHub，关注公众号：码猿技术专栏，回复关键词：9530 获取！ ” </blockquote> <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">总结</h2> 数据增量同步的开源工具并不只有Canal一种，根据自己的业务需要选择合适的组件。 </section>

深入理解Netty-从偶现宕机看Netty流量控制

作者：微信小助手

<section style="font-size: 15px;line-height: 1.9;letter-spacing: 0.75px;box-sizing: border-box;"> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <blockquote class="js_blockquote_wrap" data-type="2" data-url="" data-author-name="" data-content-utf8-length="26" data-source-title=""> <section class="js_blockquote_digest"> <section> 作者：vivo互联网服务器团队-Zhang Lin </section> </section> </blockquote> </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 一、业务背景 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 目前移动端的使用场景中会用到大量的消息推送，push消息可以帮助运营人员更高效地实现运营目标（比如给用户推送营销活动或者提醒APP新功能）。 对于推送系统来说需要具备以下两个特性： <ul class=" list-paddingleft-2" style="list-style-type: disc;"> <li>消息秒级送到用户，无延时，支持每秒百万推送，单机百万长连接。</li> <li> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 支持通知、文本、自定义消息透传等展现形式。正是由于以上原因，对于系统的开发和维护带来了挑战。下图是推送系统的简单描述（API->推送模块->手机）。 </section></li> </ul> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <img class="rich_pages wxw-img js_insertlocalimg" data-backh="198" data-backw="538" data-ratio="0.3687150837988827" data-s="300,640" src="/upload/117dd15057362c0201d7016f490af8cb.png" data-type="png" data-w="537" style="width: 100%;height: auto;"> </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 二、问题背景 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 推送系统中长连接集群在稳定性测试、压力测试阶运行一段时间后随机会出现一个进程挂掉的情况，概率较小（频率为一个月左右发生一次），这会影响部分客户端消息送到的时效。 推送系统中的长连接节点（Broker系统）是基于Netty开发，此节点维护了服务端和手机终端的长连接，线上问题出现后，添加Netty内存泄露监控参数进行问题排查，观察多天但并未排查出问题。 由于长连接节点是Netty开发，为便于读者理解，下面简单介绍一下Netty。 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 三、 Netty介绍 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> Netty是一个高性能、异步事件驱动的NIO框架，基于Java NIO提供的API实现。它提供了对TCP、UDP和文件传输的支持，作为当前最流行的NIO框架，Netty在互联网领域、大数据分布式计算领域、游戏行业、通信行业等获得了广泛的应用，HBase，Hadoop，Bees，Dubbo等开源组件也基于Netty的NIO框架构建。 </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 四、问题分析 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 4.1 猜想 最初猜想是长连接数导致的，但经过排查日志、分析代码，发现并不是此原因造成。 长连接数：39万，如下图： <img class="rich_pages wxw-img js_insertlocalimg" data-backh="40" data-backw="578" data-ratio="0.06974248927038626" data-s="300,640" src="/upload/fc26e2c74862a8d8652ae0b6f9a81415.png" data-type="png" data-w="932" style="width: 100%;height: auto;"> 每个channel字节大小1456, 按40万长连接计算，不致于产生内存过大现象。 4.2 查看GC日志 查看GC日志，发现进程挂掉之前频繁full GC（频率5分钟一次），但内存并未降低，怀疑堆外内存泄露。 4.3 分析heap内存情况 ChannelOutboundBuffer对象占将近5G内存，泄露原因基本可以确定：ChannelOutboundBuffer的entry数过多导致，查看ChannelOutboundBuffer的源码可以分析出，是ChannelOutboundBuffer中的数据。 没有写出去，导致一直积压； ChannelOutboundBuffer内部是一个链表结构。 <img class="rich_pages wxw-img js_insertlocalimg" data-backh="121" data-backw="578" data-ratio="0.20869565217391303" data-s="300,640" src="/upload/88ecab754f3b108f08c82263b4acb641.png" data-type="png" data-w="690" style="width: 100%;height: auto;"> 4.4 从上图分析数据未写出去，为什么会出现这种情况？ 代码中实际有判断连接是否可用的情况（Channel.isActive），并且会对超时的连接进行关闭。从历史经验来看，这种情况发生在连接半打开（客户端异常关闭）的情况比较多---双方不进行数据通信无问题。 按上述猜想，测试环境进行重现和测试。 <blockquote class="js_blockquote_wrap" data-type="2" data-url="" data-author-name="" data-content-utf8-length="156" data-source-title=""> <section class="js_blockquote_digest"> <section> 1）模拟客户端集群，并与长连接服务器建立连接，设置客户端节点的防火墙，模拟服务器与客户端网络异常的场景（即要模拟Channel.isActive调用成功，但数据实际发送不出去的情况）。 2）调小堆外内存，持续发送测试消息给之前的客户端。消息大小（1K左右）。 3）按照128M内存来计算，实际上调用9W多次就会出现。 </section> </section> </blockquote> <img class="rich_pages wxw-img js_insertlocalimg" data-backh="39" data-backw="578" data-ratio="0.06726907630522089" data-s="300,640" src="/upload/4d35ebb8b4134364e106dcb03b7766f4.png" data-type="png" data-w="996" style="width: 100%;height: auto;"> </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 五、问题解决 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="font-size: 16px;color: rgb(70, 97, 246);box-sizing: border-box;" powered-by="xiumi.us"> 5.1 启用autoRead机制 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 当channel不可写时，关闭autoRead； <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="cs"><code>public void channelReadComplete(ChannelHandlerContext ctx) throws Exception {</code><code> if (!ctx.channel().isWritable()) {</code><code> Channel channel = ctx.channel();</code><code> ChannelInfo channelInfo = ChannelManager.CHANNEL_CHANNELINFO.get(channel);</code><code> String clientId = "";</code><code> if (channelInfo != null) {</code><code> clientId = channelInfo.getClientId();</code><code> }</code><code> </code><code> LOGGER.info("channel is unwritable, turn off autoread, clientId:{}", clientId);</code><code> channel.config().setAutoRead(false);</code><code> }</code><code>}</code></pre> </section> 当数据可写时开启autoRead； <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="java"><code>@Override</code><code>public void channelWritabilityChanged(ChannelHandlerContext ctx) throws Exception</code><code>{</code><code> Channel channel = ctx.channel();</code><code> ChannelInfo channelInfo = ChannelManager.CHANNEL_CHANNELINFO.get(channel);</code><code> String clientId = "";</code><code> if (channelInfo != null) {</code><code> clientId = channelInfo.getClientId();</code><code> }</code><code> if (channel.isWritable()) {</code><code> LOGGER.info("channel is writable again, turn on autoread, clientId:{}", clientId);</code><code> channel.config().setAutoRead(true);</code><code> }</code><code>}</code></pre> </section> 说明： <img class="rich_pages wxw-img js_insertlocalimg" data-ratio="0.6395939086294417" data-s="300,640" src="/upload/2c5429fdaad85846d7121405cfd0ec96.png" data-type="png" data-w="394" style="width: 393px;height: auto;"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> autoRead的作用是更精确的速率控制，如果打开的时候Netty就会帮我们注册读事件。当注册了读事件后，如果网络可读，则Netty就会从channel读取数据。那如果autoread关掉后，则Netty会不注册读事件。 这样即使是对端发送数据过来了也不会触发读事件，从而也不会从channel读取到数据。当recv_buffer满时，也就不会再接收数据。 </section> <section style="font-size: 16px;color: rgb(70, 97, 246);box-sizing: border-box;" powered-by="xiumi.us"> 5.2 设置高低水位 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="css"><code>serverBootstrap.option(ChannelOption.WRITE_BUFFER_WATER_MARK, new WriteBufferWaterMark(1024 * 1024, 8 * 1024 * 1024));</code></pre> </section> <blockquote class="js_blockquote_wrap" data-type="2" data-url="" data-author-name="" data-content-utf8-length="23" data-source-title=""> <section class="js_blockquote_digest"> <section> 注：高低水位配合后面的isWritable使用 </section> </section> </blockquote> </section> <section style="font-size: 16px;color: rgb(70, 97, 246);box-sizing: border-box;" powered-by="xiumi.us"> 5.3 增加channel.isWritable()的判断 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> channel是否可用除了校验channel.isActive()还需要加上channel.isWrite()的判断，isActive只是保证连接是否激活，而是否可写由isWrite来决定。 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="cs"><code>private void writeBackMessage(ChannelHandlerContext ctx, MqttMessage message) {</code><code> Channel channel = ctx.channel();</code><code> //增加channel.isWritable()的判断</code><code> if (channel.isActive() && channel.isWritable()) {</code><code> ChannelFuture cf = channel.writeAndFlush(message);</code><code> if (cf.isDone() && cf.cause() != null) {</code><code> LOGGER.error("channelWrite error!", cf.cause());</code><code> ctx.close();</code><code> }</code><code> }</code><code>}</code></pre> </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <blockquote class="js_blockquote_wrap" data-type="2" data-url="" data-author-name="" data-content-utf8-length="76" data-source-title=""> <section class="js_blockquote_digest"> <section style="text-align: left;"> 注： isWritable可以来控制ChannelOutboundBuffer，不让其无限制膨胀。 其机制就是利用设置好的channel高低水位来进行判断。 </section> </section> </blockquote> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="font-size: 16px;color: rgb(70, 97, 246);box-sizing: border-box;" powered-by="xiumi.us"> 5.4 问题验证 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 修改后再进行测试，发送到27W次也并不报错； </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> <img class="rich_pages wxw-img js_insertlocalimg" data-backh="43" data-backw="578" data-ratio="0.07525870178739416" data-s="300,640" src="/upload/93b007077ec2fdbef55dab52ab88d6df.png" data-type="png" data-w="1063" style="width: 100%;height: auto;"> </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 六、解决思路分析 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 一般Netty数据处理流程如下：将读取的数据交由业务线程处理，处理完成再发送出去（整个过程是异步的），Netty为了提高网络的吞吐量，在业务层与socket之间增加了一个ChannelOutboundBuffer。 在调用channel.write的时候，所有写出的数据其实并没有写到socket，而是先写到ChannelOutboundBuffer。当调用channel.flush的时候才真正的向socket写出。因为这中间有一个buffer，就存在速率匹配了，而且这个buffer还是无界的（链表），也就是你如果没有控制channel.write的速度，会有大量的数据在这个buffer里堆积，如果又碰到socket写不出数据的时候（isActive此时判断无效）或者写得慢的情况。 很有可能的结果就是资源耗尽，而且如果ChannelOutboundBuffer存放的是 DirectByteBuffer，这会让问题更加难排查。 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 流程可抽象如下： <img class="rich_pages wxw-img js_insertlocalimg" data-ratio="0.2696296296296296" data-s="300,640" src="/upload/8413825327fe8f1a3727e57d36da1524.png" data-type="png" data-w="675" style=""> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 从上面的分析可以看出，步骤一写太快（快到处理不过来）或者下游发送不出数据都会造成问题，这实际是一个速率匹配问题。 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 七、Netty源码说明 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 超过高水位 当ChannelOutboundBuffer的容量超过高水位设定阈值后，isWritable()返回false，设置channel不可写（setUnwritable），并且触发fireChannelWritabilityChanged()。 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="java"><code>private void incrementPendingOutboundBytes(long size, boolean invokeLater) {</code><code> if (size == 0) {</code><code> return;</code><code> }</code><code> </code><code> long newWriteBufferSize = TOTAL_PENDING_SIZE_UPDATER.addAndGet(this, size);</code><code> if (newWriteBufferSize > channel.config().getWriteBufferHighWaterMark()) {</code><code> setUnwritable(invokeLater);</code><code> }</code><code>}</code><code>private void setUnwritable(boolean invokeLater) {</code><code> for (;;) {</code><code> final int oldValue = unwritable;</code><code> final int newValue = oldValue | 1;</code><code> if (UNWRITABLE_UPDATER.compareAndSet(this, oldValue, newValue)) {</code><code> if (oldValue == 0 && newValue != 0) {</code><code> fireChannelWritabilityChanged(invokeLater);</code><code> }</code><code> break;</code><code> }</code><code> }</code><code>}</code></pre> </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 低于低水位 </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 当ChannelOutboundBuffer的容量低于低水位设定阈值后，isWritable()返回true，设置channel可写，并且触发fireChannelWritabilityChanged()。 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="java"><code>private void decrementPendingOutboundBytes(long size, boolean invokeLater, boolean notifyWritability) {</code><code> if (size == 0) {</code><code> return;</code><code> }</code><code> </code><code> long newWriteBufferSize = TOTAL_PENDING_SIZE_UPDATER.addAndGet(this, -size);</code><code> if (notifyWritability && newWriteBufferSize < channel.config().getWriteBufferLowWaterMark()) {</code><code> setWritable(invokeLater);</code><code> }</code><code>}</code><code>private void setWritable(boolean invokeLater) {</code><code> for (;;) {</code><code> final int oldValue = unwritable;</code><code> final int newValue = oldValue & ~1;</code><code> if (UNWRITABLE_UPDATER.compareAndSet(this, oldValue, newValue)) {</code><code> if (oldValue != 0 && newValue == 0) {</code><code> fireChannelWritabilityChanged(invokeLater);</code><code> }</code><code> break;</code><code> }</code><code> }</code><code>}</code></pre> </section> </section> <section style="margin-top: 10px;margin-bottom: 10px;text-align: center;box-sizing: border-box;" powered-by="xiumi.us"> <section style="padding: 3px;display: inline-block;border-bottom: 1px solid rgb(65, 94, 255);font-size: 17px;color: rgb(65, 94, 255);box-sizing: border-box;"> 八、总结 </section> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> </section> <section style="box-sizing: border-box;" powered-by="xiumi.us"> 当ChannelOutboundBuffer的容量超过高水位设定阈值后，isWritable()返回false，表明消息产生堆积，需要降低写入速度。 当ChannelOutboundBuffer的容量低于低水位设定阈值后，isWritable()返回true，表明消息过少，需要提高写入速度。通过以上三个步骤修改后，部署线上观察半年未发生问题出现。 </section> </section>

敢说你没遇到过，主从数据库不一致？

作者：微信小助手

<section style="line-height: 1.75em;"> 问：常见的数据库集群架构如何？ </section> <section style="line-height: 1.75em;"> 一主多从，主从同步，读写分离。 </section> <section style="line-height: 1.75em;"> <img class="rich_pages wxw-img" data-copyright="0" data-ratio="0.2709497206703911" data-s="300,640" src="/upload/d78833254a56ad8def3592e77cf52467.png" data-type="png" data-w="358" style=""> </section> <section style="line-height: 1.75em;"> 如上图： </section> <section style="line-height: 1.75em;"> （1）一个主库提供写服务； </section> <section style="line-height: 1.75em;"> （2）多个从库提供读服务，可以增加从库提升读性能； </section> <section style="line-height: 1.75em;"> （3）主从之间同步数据； </section> <section style="line-height: 1.75em;"> 画外音：任何方案不要忘了本心，加从库的本心，是提升读性能。 </section> <section style="line-height: 1.75em;"> </section> <section style="line-height: 1.75em;"> 问：为什么会出现不一致？ </section> <section style="line-height: 1.75em;"> 主从同步有时延，这个时延期间读从库，可能读到不一致的数据。 </section> <section style="line-height: 1.75em;"> <img class="rich_pages wxw-img" data-copyright="0" data-ratio="0.45871559633027525" data-s="300,640" src="/upload/8c84f4fef81921e5cfa3b5c0f9db612a.png" data-type="png" data-w="327" style=""> </section> <section style="line-height: 1.75em;"> 如上图： </section> <section style="line-height: 1.75em;"> （1）服务发起了一个写请求； </section> <section style="line-height: 1.75em;"> （2）服务又发起了一个读请求，此时同步未完成，读到一个不一致的脏数据； </section> <section style="line-height: 1.75em;"> （3）数据库主从同步最后才完成； </section> <section style="line-height: 1.75em;"> 画外音：任何数据冗余，必将引发一致性问题。 </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> 问：如何避免这种主从延时导致的不一致？ </section> <section style="line-height: 1.75em;"> 常见的方法有这么几种。 </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> 方案一：忽略。 </section> <section style="line-height: 1.75em;"> 任何脱离业务的架构设计都是耍流氓，绝大部分业务，例如：百度搜索，淘宝订单，QQ消息，58帖子都允许短时间不一致。 </section> <section style="line-height: 1.75em;"> 画外音：如果业务能接受，最推崇此法。 </section> <section style="line-height: 1.75em;"> </section> <section style="line-height: 1.75em;"> 如果业务能够接受，别把系统架构搞得太复杂。 </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> 方案二：强制读主。 </section> <section style="line-height: 1.75em;"> <img class="rich_pages wxw-img" data-copyright="0" data-ratio="0.4754601226993865" data-s="300,640" src="/upload/685f0e1acb41d61fa8beb6fbb03185b1.png" data-type="png" data-w="326" style=""> </section> <section style="line-height: 1.75em;"> 如上图： </section> <section style="line-height: 1.75em;"> （1）使用一个高可用主库提供数据库服务； </section> <section style="line-height: 1.75em;"> （2）读和写都落到主库上； </section> <section style="line-height: 1.75em;"> （3）采用缓存来提升系统读性能； </section> <section style="line-height: 1.75em;"> 这是很常见的微服务架构，可以避免数据库主从一致性问题。 </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> 方案三：选择性读主。 </section> <section style="line-height: 1.75em;"> 强制读主过于粗暴，毕竟只有少量写请求，很短时间，可能读取到脏数据。 </section> <section style="line-height: 1.75em;"> </section> <section style="line-height: 1.75em;"> 有没有可能实现，只有这一段时间，可能读到从库脏数据的读请求读主，平时读从呢？ </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> 可以利用一个缓存记录必须读主的数据。 </section> <section style="line-height: 1.75em;"> <img class="rich_pages wxw-img" data-copyright="0" data-ratio="0.4567901234567901" data-s="300,640" src="/upload/a519bbe09c98ad4b2f4dda5f883d8520.png" data-type="png" data-w="405" style=""> </section> <section style="line-height: 1.75em;"> 如上图，当写请求发生时： </section> <section style="line-height: 1.75em;"> （1）写主库； </section> <section style="line-height: 1.75em;"> （2）将哪个库，哪个表，哪个主键三个信息拼装一个key设置到cache里，这条记录的超时时间，设置为“主从同步时延”； </section> <section style="line-height: 1.75em;"> 画外音：key的格式为“ db:table:PK ”，假设主从延时为1s，这个key的cache超时时间也为1s。 </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> <img class="rich_pages wxw-img" data-copyright="0" data-ratio="0.44525547445255476" data-s="300,640" src="/upload/7c300ae17b568b18b4bc7cf6329f6db9.png" data-type="png" data-w="411" style=""> </section> <section style="line-height: 1.75em;"> 如上图，当读请求发生时： </section> <section style="line-height: 1.75em;"> 这是要读哪个库，哪个表，哪个主键的数据呢，也将这三个信息拼装一个key，到cache里去查询，如果， </section> <section style="line-height: 1.75em;"> （1）cache里有这个key，说明1s内刚发生过写请求，数据库主从同步可能还没有完成，此时就应该去主库查询； </section> <section style="line-height: 1.75em;"> （2）cache里没有这个key，说明最近没有发生过写请求，此时就可以去从库查询； </section> <section style="line-height: 1.75em;"> 以此，保证读到的一定不是不一致的脏数据。 </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> 总结 </section> <section style="line-height: 1.75em;"> 数据库主库和从库不一致，常见有这么几种优化方案： </section> <section style="line-height: 1.75em;"> （1）业务可以接受，系统不优化； </section> <section style="line-height: 1.75em;"> （2）强制读主，高可用主库，用缓存提高读性能； </section> <section style="line-height: 1.75em;"> （3）在cache里记录哪些记录发生过写请求，来路由读主还是读从； </section> <section style="line-height: 1.75em;">   </section> <section style="line-height: 1.75em;"> 文字很短，希望能给大家一些启示。 </section> <section class="mp_profile_iframe_wrp"> <mpprofile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="MjM5ODYxMDA5OQ==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/YrezxckhYOxbibeY4UQvLjjG76dIsbXYGaaKCJpqU0kzRuu3r2CXosccgtc57I15CePibfpQMd5dBibXZDNNZYtkg/0?wx_fmt=png" data-nickname="架构师之路" data-alias="road5858" data-signature="架构师之路，坚持撰写接地气的架构文章" data-from="0"></mpprofile> </section> <section style="background-color: transparent;box-sizing: border-box;clear: both;color: rgb(51, 51, 51);line-height: 1.75em;"> </section> <section style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);min-height: 1em;line-height: 1.75em;text-align: center;"> <strong style="outline: 0px;letter-spacing: 0.544px;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;">架构师之路<span style="outline: 0px;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 12px;">-分享<span style="outline: 0px;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;color: rgb(255, 76, 0);font-size: 12px;">可落地<span style="outline: 0px;font-family: -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 12px;">的技术文章 </section> <section style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 1.75em;"> 相关文章 ： </section> <section style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 1.75em;"> <span style="outline: 0px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 15px;letter-spacing: 1px;">《<a target="_blank" href="http://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651967131&idx=1&sn=9d56b8358911c2a36445758cfdf53efd&chksm=bd2d7b478a5af2516d3c25f2a10e635512376b3365b6082d566b788971fc18c96a56e5733102&scene=21#wechat_redirect" textvalue="架构师之路，20年干货精选" linktype="text" imgurl="" imgdata="null" data-itemshowtype="0" tab="innerlink" data-linktype="2" wah-hotarea="click" hasload="1" style="outline: 0px;-webkit-tap-highlight-color: rgba(0, 0, 0, 0);cursor: pointer;">架构师之路，20年干货精选</a>》 </section> <section style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 1.75em;"> </section> <section style="outline: 0px;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 1.75em;"> 有更好的方案，欢迎交流，谢转。 </section>

数据链路追踪，我实现了

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;" data-mpa-powered-by="yiban.io"> 我是3y，一年<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">CRUD</code>经验用十年的<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">markdown</code>程序员👨🏻‍💻常年被誉为优质八股文选手 今天来聊些大家都用得上的东西：数据链路追踪。之前引入了系统的监控来快速定位应用操作系统上的问题，而业务问题呢？在这篇文章中你可以看到用注解的方式打印日志，也能看到简易版的全链路追踪是怎么实现的。 不多BB，开始吧 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.8780487804878049" data-type="jpeg" data-w="1230" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/4df7f2b6b365d37cc825ddeaf6551cc0.jpg"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">01、注解日志打印</h2> 日志的搭建我在austin最开始的前几篇已经有提及了，之前一直在等我的基友@蛮三刀酱他的日志组件库上传到Maven库，好让我使用使用下。在最近，他已经更新了两个版本，然后传到了Maven库了，所以我就来接入了 这个组件库做的事情就是使用注解的方式来打印日志信息，并支持SpEL解析、自定义上下文以及自定义函数。它支持的东西听起来很牛逼，但说白了就是让记录日志的方式做得更装逼。我们写个破代码还能装逼，这谁受得了！这谁顶得住！ <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.6646153846153846" data-type="jpeg" data-w="1625" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/ad69398bf04a34c05d47f6bf4f981515.jpg"> </figure> 现在我已经把注解在方法上定义了，当该方法被调用时，它打印了以下的日志： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.23547880690737832" data-type="jpeg" data-w="2548" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/f13ff59174475c18f921acfcd5d5fd82.jpg"> </figure> 看起来很好用，对不对？通过一个注解，我就能把方法的入参信息打印出来，有<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">bizType</code>和<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">bizId</code>给我们自定义，那就可以很方便地定位出打印日志的地方了，并且他还贴心把<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">response</code>返回值也输出到日志上。 至少在这个接口上，这非常符合我这个场景的需求，我们再通过一张图稍微重温下这个<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">send</code>接口到底做了什么事： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.18086816720257234" data-type="jpeg" data-w="2488" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/6ac72f53025dd2eedab6089621a2a3d3.jpg"> </figure> 在接口层面打印入参信息以及返回值就能定位到很多问题（懂的都懂），使用注解还不用干扰到我们正常的业务代码就能打印出这么好的日志信息了（这个逼是装上了） 它的实现原理并不复杂，感兴趣的小伙伴可以拉代码自己看看，先看<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">readmd</code>再看代码！！ GitHub：https://github.com/qqxx6661/logRecord 总的来说，他通过SpEL表达式来读取到<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">#sendRequest</code>入参对象的信息，而注解解析则用的是<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Spring AOP</code>。至于自定义上下文以及自定义函数我在这是没用到的，至少在austin项目场景下，我感觉都没什么用。哦，对了，它还能将日志输出到别的管道（MQ）。可惜的是，我这场景也用不到。 在目前的实现下，我就只有这个接口能用到该组件，我承认他在某些场景是很好用。 但它是有局限性的：打印的日志信息跟方法参数强相关：如果要打印方法参数以外的变量那需要用到<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">上下文Context</code> 或者<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">自定义函数</code> 。自定义函数的使用姿势是有局限性的，我们并不能把日志所涉及的变量都抽取到某函数上。如果用上下文Context的话，还是得嵌入业务代码里，那为啥不直接拼装好日志打呢？ <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.12968299711815562" data-type="jpeg" data-w="1388" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/62d64ab4138b5920720440d5367b2e5e.jpg"> </figure> 我一度怀疑是不是我的使用姿势不对，跟基友探讨了下，我的应用场景下还得自己抽取<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">LogUtils</code>进行日志打印。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">02、数据链路追踪</h2> 从上面的接口打印的日志以及能很快地排查出接入层的问题了，其实重头戏其实是在处理层上，回顾下处理层目前做的事情： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.3648334624322231" data-type="jpeg" data-w="2582" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/11095f2901122c61f8a79463cd4677b6.jpg"> </figure> 在处理层上会有不少的平台过滤规则，这些过滤规则大多都不是针对于消息模板的，而是针对于userId(接收者)的。在这个处理过程中，记录下每个消息模板中的每个用户的执行情况就尤其重要了。 1、定位和排查问题。如果客户反馈用户收不到短信，一般情况下都在这个处理的过程中导致的（可能是被去重，可能是调用接口出问题） 2、对模板执行的整体链路数据分析。一个消息模板一天发送的量级，中途被每个规则过滤的量级，成功下发的量级以及消息最后被点击的量级。除了点击数据，其他的数据都来源处理层 基于上面的背景，我设计了一套埋点的规则，在处理关键链路上打上对应的点位📝 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="1.0509259259259258" data-type="jpeg" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/6940692cc4b61fa1b394c95a433ba50c.jpg"> </figure> 目前点位的信息是不全的，随着系统的完善和接入各个渠道，这里的点位信息还会继续增加，只要我们认为有哪些地方是需要记录下来的，就可以增加。 可能看到这里你会觉得有些抽象，我请求一次接口打印下日志就容易懂啦： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/LIND77SSexibEBibTiaxaLNZ75HfN9YRNNlcUibxy1NcSibSLymU8MVtSBFeCP8ibM2bx1p3CzNuKbbniapCba1CEZMWibZLTpiaq04m7/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">// 1、接入层打印日志（returnStr打印处理结果，而msg打印出入参信息） 2022-01-08 15:44:53.512 [http-nio-8080-exec-7] INFO  com.java3y.austin.utils.LogUtils -  {"bizId":"1","bizType":"SendService#send","logId":"34df87fc-0489-46c1-b39f-cafd7652f55b", "msg":"{\"code\":\"send\",\"messageParam\":{\"extra\":null,\"receiver\":\"13288888888\",\"variables\":{\"title\":\"yyyyyy\",\"contentValue\":\"66661641627893157\"}},\"messageTemplateId\":1}","operateDate":1641627893512,"returnStr":"{\"code\":\"00000\",\"msg\":\"操作成功\"}","success":true,"tag":"operation"} // 2、处理层打印入口日志（表示成功消费到Kafka的消息 state=10） 2022-01-08 15:44:53.622 [org.springframework.kafka.KafkaListenerEndpointContainer#6-0-C-1] INFO  com.java3y.austin.utils.LogUtils -  {"businessId":1000000120220108,"ids":["13288888888"],"state":10,"timestamp":1641627893622} // 3、处理层打印入口日志（表示成功消费到Kafka的原始日志） 2022-01-08 15:44:53.622 [org.springframework.kafka.KafkaListenerEndpointContainer#6-0-C-1] INFO  com.java3y.austin.utils.LogUtils -  {"bizType":"Receiver#consumer","object":{"businessId":1000000120220108,"contentModel":{"content":"66661641627893157"},"deduplicationTime":1,"idType":30,"isNightShield":0,"messageTemplateId":1,"msgType":10,"receiver":["13288888888"],"sendAccount":66,"sendChannel":30,"templateType":10},"timestamp":1641627893622} // 4、处理层打印逻辑过滤日志（state=20，表示这条消息由于配置了丢弃，已经丢弃掉） 2022-01-08 15:44:53.623 [pool-8-thread-3] INFO  com.java3y.austin.utils.LogUtils -  {"businessId":1000000120220108,"ids":["13288888888"],"state":20,"timestamp":1641627893622} </code></pre> 我打印日志的核心逻辑是： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-2"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 在 入口侧（这里包括接口的入口以及刚消费Kafka的入口）需要打印出原始的信息。原始信息有了，才好对问题进行定位和排查，至少帮助我们复现 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 在处理过程中使用 某个标识来标明处理的过程（10代表成功消费Kafka，20代表该消息已经被丢弃...)，并且 日志的格式是统一的这样后续我们可以统一清洗该日志信息 </section></li> </ul> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.140534262485482" data-type="jpeg" data-w="1722" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/802de1a02277eef96158de423d2bb44f.jpg"> </figure> 至于打日志的过程就很简单了，只要抽取一个<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">LogUtils</code>类就好咯： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="1.1018518518518519" data-type="jpeg" data-w="1080" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/9d0373f11cdd1e4700d972c3f39f2f3e.jpg"> </figure> 那对于点击是怎么追踪的呢？其实也好办，在下发的链接上拼接<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">businessId</code>就好了。只要我们能拿到点击的数据，在链接上就可以判断是否存在<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">track_code_bid</code>字符，进而找到是哪个用户点击了哪个模板消息。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.6954282034771411" data-type="jpeg" data-w="1553" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/4ed4b3e1b2fda2a1bb1b751f7786e44b.jpg"> </figure> 无论是打点日志还是原始日志，<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">businessId</code>会跟随着消息的生命周期始终。而businessId的构成只是通过消息模板内容+时间而成 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.12060889929742388" data-type="jpeg" data-w="1708" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/adc2b1594be203d67b302fe070eada11.jpg"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 22px;">03、后续</h2> 现在已经打印出对应的数据链路信息了，但这是不够的，这只是将数据链路信息写到了服务器的本地上，还需要考虑以下的情况： 1、运行应用的服务器一般是集群，日志数据会记录到不同的机器上，排查和定位问题只能登录各个服务器查看 2、链路的数据需要实时，通过提供Web后台的界面功能快速让业务方自助查看整个流程 3、链路的数据需要离线保存用于对数据的分析以及留备份（本地日志往往存放不超过30天） <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.0990606319385141" data-type="jpeg" data-w="2342" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/83313b295d88f51322df34cb7be919d5.jpg"> </figure> 后面这些功能都会一一实现，优先会接入ELK来有统一查询日志信息的入口以及配置相关的监控或告警，敬请期待。 </section>

文章列表