Java学习者

作者：微信小助手

<section style="font-size: 15px;color: rgb(62, 62, 62);line-height: 1.8;word-spacing: 2px;letter-spacing: 2px;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;background-image: linear-gradient(90deg, rgba(50, 0, 0, 0.05) 3%, rgba(0, 0, 0, 0) 3%), linear-gradient(360deg, rgba(50, 0, 0, 0.05) 3%, rgba(0, 0, 0, 0) 3%);background-size: 20px 20px;background-position: center center;" data-mpa-powered-by="yiban.io"> <img class="rich_pages wxw-img js_insertlocalimg" data-ratio="0.4185185185185185" data-s="300,640" src="/upload/241a952b936253a9c67ed785d8289baa.jpg" data-type="jpeg" data-w="1080" style=""> 作者：陌溪 陌溪的学习笔记：http://note.moguit.cn 前阵子，我在快乐搬砖的时候，突然群里小伙伴们疯狂 @ 我，说蘑菇社区今天打不开了！ 遇到事情不要慌，我琢磨着估计可能是网站又宕机了，重启一下就完事了 然后打开了蘑菇后台，顿时吓了一跳，好家伙今天的 PV 竟然有 19w，要知道蘑菇这个小破站，每天撑死也就几千的访问量，咋突然今天蹦到 19W 了，难道蘑菇火了？ 带着疑惑，看了看下方的 UV 数，还是这 260 多的人数，咋就能搞到 19W 的 UV，难不成每个人把蘑菇文章都看了一遍？ <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="rich_pages wxw-img" data-ratio="0.234375" src="/upload/ab51800d4cd6bcae55de078a19466bc7.png" data-type="png" data-w="2624" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;" title="蘑菇后台PV、UV"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 蘑菇后台PV、UV </figcaption> </figure> 我马上切到了蘑菇后台日志，好家伙原来你这小子，现在还在刷着蘑菇接口 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.9856459330143541" data-s="300,640" src="/upload/32bdaf5835454e3cd5e586dfdea8bb7e.png" data-type="png" data-w="627" style="width: 280px;height: 276px;"> 还用 Jmeter 在这压测蘑菇呢？直接给干了 19W 条记录，把蘑菇服务都给干趴了要 <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="rich_pages wxw-img" data-ratio="0.7918781725888325" src="/upload/d85058909eaa41e1863d100506f83c2d.png" data-type="png" data-w="2364" height="1872" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;" title="蘑菇后台日志" width="2326"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 蘑菇后台日志 </figcaption> </figure> 我反手就是复制一波 IP，然后打开腾讯云服务器后台，找到防火墙创建新的规则，然后策略改为拒绝，同时这个小伙子的 ip 地址给加上去，同时端口选择全部端口，即 1-65535。 <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="rich_pages wxw-img" data-ratio="1.1158536585365855" src="/upload/e263caa34d72765010cbb9aff4d9028f.png" data-type="png" data-w="820" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 355px;height: 396px;" title="新增防火墙规则"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 新增防火墙规则 </figcaption> </figure> 创建完规则后，点击确定即可看到此条规则已经开始生效了，整个流程一气呵成。 <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="rich_pages wxw-img" data-ratio="0.1714788732394366" src="/upload/5225fe3b2453d37a1caacb0831111248.png" data-type="png" data-w="2840" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;" title="规则生效"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 规则生效 </figcaption> </figure> 然后切到蘑菇的后台，再也没有看到接口有被刷的迹象，至此恢复了正常。 突然，我又想到了，这个小伙子会不会回头换了一个 ip 又卷土重来了？ 那我岂不是他来一个 ip，就得封杀一个 ip ？这也太麻烦了吧 <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="rich_pages wxw-img" data-ratio="0.9062003179650239" src="/upload/a328b26a7a95514de327cb6480145b70.png" data-type="png" data-w="629" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 327px;height: 296px;" title=""> </figure> 脑袋灵机一动，是不是可以在网关上搞点事，原来的蘑菇网关，啥事没做，就只用来转发了一个请求 我们都知道 Gateway 是对所有 API 服务进行统一管理的平台，除了最基本的 路由 功能外，还可以实现 安全验证、过滤、流控 等策略 所以，就想到了用 Gateway 做一个限流功能，当某个 ip 访问次数过多的时候，直接给它拦截下来，防止一下把我们的服务给打挂了 <h2 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.4em;">定义全局过滤器</h2> 全局过滤器是作用于所有经过网关转发的请求的，实现 GlobalFilter 接口即可 同时 Gateway 是通过同时实现 Ordered 接口来实现控制过滤器的过滤顺序的，其中 id 越小其代表的优先级越高。 完整的文件结构如下所示： <figure style="font-size: inherit;color: inherit;line-height: inherit;"> <img class="rich_pages wxw-img" data-ratio="1.001700680272109" src="/upload/19dca53f2f57be6d9278376c44edc4c2.png" data-type="png" data-w="588" style="font-size: inherit;color: inherit;line-height: inherit;display: block;margin-right: auto;margin-left: auto;width: 370px;height: 371px;" title="目录结构"> <figcaption style="line-height: inherit;margin-top: 10px;text-align: center;color: rgb(153, 153, 153);font-size: 0.7em;"> 目录结构 </figcaption> </figure> 在 Gateway 项目中，创建全局拦截器文件 IpLimitFilter.java <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;word-spacing: 0px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">/**  * IP限流  * @author 陌溪  * @date 2022年3月28日08:40:37  */ @Slf4j @RefreshScope @Component public class IpLimitFilter implements GlobalFilter, Ordered {     @Override     public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) {           return null;       }     @Override     public int getOrder() {         return 1;     } } </code></pre> <h2 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;font-size: 1.4em;">基于 Redis 的分布式限流算法</h2> 实现了全局拦截器后，陌溪在愉快的网上冲浪时，发现了一个 spring-boot-redis-ip-limiter 开源项目，使用的是 SpringBoot + Redis 组件，实现一个分布式接口 IP 限流功能。 <blockquote style="line-height: inherit;padding: 15px 15px 15px 1rem;font-size: 0.9em;color: rgb(0, 0, 0);border-left-width: 5px;border-left-color: rgb(239, 112, 96);background: rgb(239, 235, 233);overflow: auto;overflow-wrap: normal;word-break: normal;"> Github地址： https://github.com/yudiandemingzi/spring-boot-redis-ip-limiter </blockquote> <h3 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(239, 112, 96);color: rgb(255, 255, 255);padding: 3px 10px 1px;border-top-right-radius: 3px;border-top-left-radius: 3px;margin-right: 3px;">项目的场景 </h3> 为了防止我们的接口被人恶意访问，比如有人通过 JMeter 工具频繁访问我们的接口，导致接口响应变慢甚至崩溃,所以我们需要对一些特定的接口进行IP限流,即一定时间内同一 IP 访问的次数是有限的。 <h3 style="color: inherit;line-height: inherit;margin-top: 1.6em;margin-bottom: 1.6em;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;"><span style="font-size: inherit;line-height: inherit;display: inline-block;font-weight: normal;background: rgb(239, 112, 96);color: rgb(255, 255, 255);padding: 3px 10px 1px;border-top-right-radius: 3px;border-top-left-radius: 3px;margin-right: 3px;">实现原理 </h3> 用 Redis 作为限流组件的核心的原理,将用户的 IP 地址当 Key,一段时间内访问次数为 value ,同时设置该 Key 过期时间。 比如某接口设置相同 IP 10 秒内请求 5 次，超过 5 次不让访问该接口。 <ol style="font-size: inherit;color: inherit;line-height: inherit;padding-left: 32px;" class="list-paddingleft-1"> <li style="font-size: inherit;color: inherit;line-height: inherit;margin-bottom: 0.5em;">第一次该 IP 地址存入 Redis 的时候，key值为 IP 地址, value值为 1，设置 key 值过期时间为 10 秒。</li> <li style="font-size: inherit;color: inherit;line-height: inherit;margin-bottom: 0.5em;">第二次该 IP 地址存入 Redis 时，如果 key 没有过期,那么更新 value 为 2。</li> <li style="font-size: inherit;color: inherit;line-height: inherit;margin-bottom: 0.5em;">以此类推当 value 已经为 5 时，如果下次该 IP 地址在存入 Redis 同时 key 还没有过期，那么该 Ip 就不能访问了。</li> <li style="font-size: inherit;color: inherit;line-height: inherit;margin-bottom: 0.5em;">当10 秒后，该 key 值过期，那么该 IP 地址再进来，value 又从 1 开始，过期时间还是 10 秒，这样反反复复。</li> </ol> <p style="font-size: inherit;color: inherit;line-height:

SpringBoot 分布式事务的解决方案（JTA+Atomic+多数据源）

作者：微信小助手

<section class="mp_profile_iframe_wrp" data-mpa-powered-by="yiban.io"> <mpprofile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="MzA5MTU0OTY0Ng==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/zc3KLDBfJlmPt0J5PXYOoiaG8wsQPZrLevbxMZSfgQ0YypNYaicnbS0P9UicluuOySLSP4CjTcRUVHCZzYeXQ9WlA/0?wx_fmt=png" data-nickname="Java派" data-alias="javapai" data-signature="专注Java相关技术栈：Spring全家筒、Docker、k8s、Mysql、集群、微服务、中间件等知识。" data-from="0"></mpprofile> </section> <p style="outline: 0px;color: rgb(34, 34, 34);font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);visibility: visible;text-align: center;"><span style="outline: 0px;max-width: 100%;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;text-align: center;background-color: rgb(255, 255, 255);font-size: 14px;color: rgb(255, 41, 65);line-height: 22.4px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> 首先，到底啥是分布式事务呢，比如我们在执行一个业务逻辑的时候有两步分别操作A数据源和B数据源，当我们在A数据源执行数据更改后，在B数据源执行时出现运行时异常，那么我们必须要让B数据源的操作回滚，并回滚对A数据源的操作；这种情况在支付业务时常常出现；比如买票业务在最后支付失败，那之前的操作必须全部回滚，如果之前的操作分布在多个数据源中，那么这就是典型的分布式事务回滚； 了解了什么是分布式事务，那分布式事务在java的解决方案就是JTA(即Java Transaction API)；springboot官方提供了 Atomikos or Bitronix的解决思路； 其实，大多数情况下很多公司是使用消息队列的方式实现分布式事务。 <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;border-left-color: rgba(0, 0, 0, 0.4);background: rgba(0, 0, 0, 0.05);color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;"> 本篇文章重点讲解springboot环境下，整合 Atomikos +mysql+mybatis+tomcat/jetty； </blockquote> <h5 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;">一、项目依赖</h5> pom.xml中添加atomikos的springboot相关依赖： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;background: #272822;color: #ddd;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;"> <dependency>     <groupId>org.springframework.boot</groupId>     <artifactId>spring-boot-starter-jta-atomikos</artifactId> </dependency> </code></pre> 点进去会发现里面整合好了：<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">transactions-jms</code>、<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">transactions-jta</code>、<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">transactions-jdbc</code>、<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">javax.transaction-api</code> <h5 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;">二、把数据源的相关配置项单独提炼到一个application.yml中：</h5> 注意： <ol data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 这回我们的<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">spring.datasource.type</code> 是<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">com.alibaba.druid.pool.xa.DruidXADataSource；</code> </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> <code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">spring.jta.transaction-manager-id</code>的值在你的电脑中是唯一的，这个详细请阅读官方文档； </section></li> </ol> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-ratio="0.08054226475279107" src="/upload/1f1c989dc1a16cf03ecad251bb6d69c8.png" data-type="png" data-w="1254" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;"> </figure> 完整的yml文件如下： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;background: #272822;color: #ddd;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">spring:   datasource:     type: com.alibaba.druid.pool.xa.DruidXADataSource     druid:            systemDB:         name: systemDB         url: jdbc:mysql://localhost:3306/springboot-mybatis?useUnicode=true&characterEncoding=utf-8         username: root         password: root         # 下面为连接池的补充设置，应用到上面所有数据源中         # 初始化大小，最小，最大         initialSize: 5         minIdle: 5         maxActive: 20         # 配置获取连接等待超时的时间         maxWait: 60000         # 配置间隔多久才进行一次检测，检测需要关闭的空闲连接，单位是毫秒         timeBetweenEvictionRunsMillis: 60000         # 配置一个连接在池中最小生存的时间，单位是毫秒         minEvictableIdleTimeMillis: 30         validationQuery: SELECT 1         validationQueryTimeout: 10000         testWhileIdle: true         testOnBorrow: false         testOnReturn: false         # 打开PSCache，并且指定每个连接上PSCache的大小         poolPreparedStatements: true         maxPoolPreparedStatementPerConnectionSize: 20         filters: stat,wall         # 通过connectProperties属性来打开mergeSql功能；慢SQL记录         connectionProperties: druid.stat.mergeSql=true;druid.stat.slowSqlMillis=5000         # 合并多个DruidDataSource的监控数据         useGlobalDataSourceStat: true         businessDB:         name: businessDB           url: jdbc:mysql://localhost:3306/springboot-mybatis2?useUnicode=true&characterEncoding=utf-8         username: root         password: root         # 下面为连接池的补充设置，应用到上面所有数据源中</s

用Java写了一个搜索引擎系统

作者：微信小助手

<p style="margin-top: 5px;outline: 0px;max-width: 100%;font-family: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.544px;white-space: normal;background-color: rgb(255, 255, 255);color: rgb(0, 0, 0);font-size: 16px;text-align: center;line-height: normal;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="outline: 0px;max-width: 100%;font-size: 10px;letter-spacing: 0.544px;text-align: justify;color: rgb(136, 136, 136);font-family: Optima-Regular, PingFangTC-light;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">来源：https://blog.csdn.net/m0_57315623?type=blog <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="padding-right: 10px;padding-left: 10px;outline: 0px;max-width: 100%;overflow-wrap: break-word;white-space: normal;background-color: rgb(255, 255, 255);font-size: 16px;color: black;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;visibility: visible;box-sizing: border-box !important;"> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 1.3em;max-width: 100%;border-bottom: 2px solid rgb(239, 112, 96);visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;outline: 0px;max-width: 100%;display: inline-block;background: rgb(239, 112, 96);color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">前言<span style="outline: 0px;max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;"></h2> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;line-height: 26px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">咱们如果用我们的小服务器去搞百度，搜狗那种引擎肯定是不行的，内属于全站搜索，我们这里做一个站内搜索。这个还是可以的，就类似于我们对网站里的资源进行搜索。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 1.3em;max-width: 100%;border-bottom: 2px solid rgb(239, 112, 96);visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;outline: 0px;max-width: 100%;display: inline-block;background: rgb(239, 112, 96);color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">一.搜索引擎怎么搜索<span style="outline: 0px;max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;"></h2> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;line-height: 26px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">搜索引擎就像一个小蜜蜂每天不停的采摘蜂蜜，就是去爬虫各个网页，然后通过爬取之后建立索引，以供于我们去搜索。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;line-height: 26px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">这里我们可以使用Python，或者下载文档压缩包。这里我们下包把，快多了。本来想搞一个英雄联盟的，实在找不见，要是后续有老铁找到可以分享一下。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;line-height: 26px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">建议大家别爬虫（要不然被告了，不过我们学校的官网倒是可以随便爬，我们当时就是拿这个练手的）为什么要用索引呢？ <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;line-height: 26px;visibility: visible;box-sizing: border-box !important;overflow-wrap: break-word !important;">因为爬的数据太多了，不索引，难道我去遍历吗？时间复杂度太大了。 这里我们需要建立索引，索引分别为正排索引，和倒排索引。 拿LOL举个例子吧，正排就相当于，我们提到无极剑圣的技能就可以联想到： <ul data-tool="mdnice编辑器" class="list-paddingleft-1" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;outline: 0px;max-width: 100%;overflow-wrap: break-word !important;"> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;overflow-wrap: break-word !important;"> Q技能阿尔法突袭 </section></li> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;overflow-wrap: break-word !important;"> W技能冥想 </section></li> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;overflow-wrap: break-word !important;"> E技能无双 </section></li> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;overflow-wrap: break-word !important;"> R技能高原血统 </section></li> </ul> 所以这是根据名字选技能 倒排索引就是LOL里面谁有剑： <ol data-tool="mdnice编辑器" class="list-paddingleft-1" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;outline: 0px;max-width: 100%;overflow-wrap: break-word !important;"> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;overflow-wrap: break-word !important;"> 蛮王 </section></li> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;overflow-wrap: break-word !important;"> 无极剑圣 </section></li> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;overflow-wrap: break-word !important;"> 剑姬 </section></li> </ol> 所以这是根据特点选择英雄 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 1.3em;max-width: 100%;border-bottom: 2px solid rgb(239, 112, 96);box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;outline: 0px;max-width: 100%;display: inline-block;background: rgb(239, 112, 96);color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;">二.模块划分<span style="outline: 0px;max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;box-sizing: border-box !important;overflow-wrap: break-word !important;"></h2> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 20px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">1.索引模块</h3> 1）扫描下载到的文档，分析内容，构建出，正排索引和倒排索引。并且把索引内容保存到文件中。 2）加载制作i好的索引。并提供一些API实现查正排和查倒排这样的功能。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 20px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">2.搜索模块</h3> 1）调用索引模块，实现一个搜索的完整过程。 输入：用户的查询词输出：完整的搜索结果 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 20px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">3.web模块</h3> 需要实现一个简单的web程序，能够通过网页的形式和用户进行交互。包含了前端和后端。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 1.3em;max-width: 100%;border-bottom: 2px solid rgb(239, 112, 96);box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;outline: 0px;max-width: 100%;display: inline-block;background: rgb(239, 112, 96);color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;">三. 怎么实现分词<span style="outline: 0px;max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;box-sizing: border-box !important;overflow-wrap: break-word !important;"></h2> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 20px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">分词的原理：</h3> 1.基于词库 尝试把所有的词都进行穷举，把这些结果放到词典文件中。 2.基于统计 收集到很多的语料库，进行人工标注，知道了那些字在一起的概率比较大~ java中能够实现分词的第三方工具也是有很多的 比如ansj(听说唱的兄弟可能听过ansj，哈哈)这个就是一个maven中央仓库的分词第三方库。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;outline: 0px;max-width: 100%;display: flex;flex-direction: column;justify-content: center;align-items: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <img class="rich_pages wxw-img" data-ratio="0.44568965517241377" src="/upload/91531c51191bb4cdade7b885de248dc0.png" data-type="png" data-w="1160" style="margin-right: auto;margin-left: auto;outline: 0px;display: block;box-sizing: border-box !important;overflow-wrap: break-word !important;width: 677px !important;visibility: visible !important;"> </figure> 我们直接下载最新版本然后放入pom.xml里面 test包里直接操作：我们使用这个测试代码直接搞。试一下这个包咋用。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;outline: 0px;max-width: 100%;display: flex;flex-direction: column;justify-content: center;align-items: center;box-sizing: border-box !important;overflow-wrap: break-word !important;"> <img class="rich_pages wxw-img" data-ratio="0.5251989389920424" src="/upload/295e6bb7038b3274b437b0fcc30514c4.png" data-type="png" data-w="1885" style="margin-right: auto;margin-left: auto;outline: 0px;display: block;box-sizing: border-box !important;overflow-wrap: break-word !important;width: 677px !important;visibility: visible !important;"> </figure> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;outline: 0px;max-width: 100%;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="margin-bottom: -7px;outline: 0px;max-width: 100%;display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/dWYcndbpDnazVNUJia5cWzbHoACC9dMdSFjPicgeoEnMj4TDf4WvXABCaFibYQ1lH0VxEDgPERdAAoUOxDpKGxxtIsqsPxGEYz3/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 657px;border-radius: 5px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><code style="padding: 15px 16px 16px;outline: 0px;max-width: 100%;overflow-x: auto;color: rgb(171, 178, 191);display: -webkit-box;font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;font-size: 12px;background: rgb(40, 44, 52);border-radius: 5px;box-sizing: border-box !important;overflow-wrap: break-word !important;">import org.ansj.domain.Term; import org.ansj.splitWord.analysis.ToAnalysis; import java.util.List; public class TastAnsj {     public static void main(String[] args) {         String str = "易大师是一个有超高机动性的刺客、战士型英雄，擅长利用快速的打击迅速击溃对手，易大师一般打野和走单人路，作为无极剑道的最后传人，易可以迅速砍出大量伤害，同时还能利用技能躲避猛烈的攻击，避开敌人的集火。";         List<Term> terms = ToAnalysis.parse(str).getTerms();         for (Term term : terms) {             System.out.println(term.getName());         }     } } </code></pre> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;outline: 0px;font-weight: bold;font-size: 1.3em;max-width: 100%;border-bottom: 2px solid rgb(239, 112, 96);box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="margin-right: 3px;padding: 3px 10px 1px;outline: 0px;max-width: 100%;display: inline-block;background: rgb(239, 112, 96);color: rgb(255, 255, 255);border-top-right-radius: 3px;border-top-left-radius: 3px;box-sizing: border-box !important;overflow-wrap: break-word !important;">四.文件读取<span style="outline: 0px;max-width: 100%;display: inline-block;vertical-align: bottom;border-bottom: 36px solid rgb(239, 235, 233);border-right: 20px solid transparent;box-sizing: border-box !important;overflow-wrap: break-word !important;"></h2> 把刚刚下载好的文档的路径复制到String中并且用常量标记。 这一步是为了用遍历的方法把所有html文件搞出来，我们这里用了一个递归，如果是绝对路径，就填加到文件链表，如果不是就递归，继续添加里面的值。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;outline: 0px;max-width: 100%;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="margin-bottom: -7px;outline: 0px;max-width: 100%;display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/dWYcndbpDnazVNUJia5cWzbHoACC9dMdSFjPicgeoEnMj4TDf4WvXABCaFibYQ1lH0VxEDgPERdAAoUOxDpKGxxtIsqsPxGEYz3/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 657px;border-radius: 5px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><code style="padding: 15px 16px 16px;outline: 0px;max-width: 100%;overflow-x: auto;color: rgb(171, 178, 191);display: -webkit-box;font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;font-size: 12px;background:

聊聊缓存之王 Caffeine Cache

作者：微信小助手

<p style="margin-top: 0.5em;margin-bottom: 0.5em;padding: 0.4em 0.6em;outline: 0px;max-width: 100%;letter-spacing: 0.544px;white-space: normal;color: rgb(33, 37, 41);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;word-spacing: 1px;text-align: left;border-radius: 8px;background-color: rgb(255, 255, 255);box-sizing: border-box !important;overflow-wrap: break-word !important;" data-mpa-powered-by="yiban.io">大家好，我是不才陈某~ <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">前面刚说到Guava Cache，他的优点是封装了get，put操作；提供线程安全的缓存操作；提供过期策略；提供回收策略；缓存监控。当缓存的数据超过最大值时，使用LRU算法替换。这一篇我们将要谈到一个新的本地缓存框架：Caffeine Cache。它也是站在巨人的肩膀上-Guava Cache，借着他的思想优化了算法发展而来。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">本篇博文主要介绍Caffine Cache 的使用方式，以及Caffine Cache在SpringBoot中的使用。 <h2 data-tool="mdnice编辑器" style="margin-top: 15px;margin-bottom: 15px;">| Caffine Cache 在算法上的优点-W-TinyLFU</h2> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">说到优化，Caffine Cache到底优化了什么呢？我们刚提到过LRU，常见的缓存淘汰算法还有FIFO，LFU： <ol data-tool="mdnice编辑器" class="list-paddingleft-1" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: left;white-space: normal;word-wrap: break-word !important;"> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;word-wrap: break-word !important;text-align: justify;"> FIFO：先进先出，在这种淘汰算法中，先进入缓存的会先被淘汰，会导致命中率很低。 </section></li> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;word-wrap: break-word !important;text-align: justify;"> LRU：最近最少使用算法，每次访问数据都会将其放在我们的队首，如果需要淘汰数据，就只需要淘汰队尾即可。仍然有个问题，如果有个数据在 1 分钟访问了 1000次，再后 1 分钟没有访问这个数据，但是有其他的数据访问，就导致了我们这个热点数据被淘汰。 </section></li> <li style="outline: 0px;max-width: 100%;box-sizing: border-box !important;word-wrap: break-word !important;font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;outline: 0px;max-width: 100%;line-height: 26px;color: rgb(1, 1, 1);box-sizing: border-box !important;word-wrap: break-word !important;text-align: justify;"> LFU：最近最少频率使用，利用额外的空间记录每个数据的使用频率，然后选出频率最低进行淘汰。这样就避免了 LRU 不能处理时间段的问题。 </section></li> </ol> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">上面三种策略各有利弊，实现的成本也是一个比一个高，同时命中率也是一个比一个好。Guava Cache虽然有这么多的功能，但是本质上还是对LRU的封装，如果有更优良的算法，并且也能提供这么多功能，相比之下就相形见绌了。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">LFU的局限性 ：在 LFU 中只要数据访问模式的概率分布随时间保持不变时，其命中率就能变得非常高。比如有部新剧出来了，我们使用 LFU 给他缓存下来，这部新剧在这几天大概访问了几亿次，这个访问频率也在我们的 LFU 中记录了几亿次。但是新剧总会过气的，比如一个月之后这个新剧的前几集其实已经过气了，但是他的访问量的确是太高了，其他的电视剧根本无法淘汰这个新剧，所以在这种模式下是有局限性。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">LRU的优点和局限性 ：LRU可以很好的应对突发流量的情况，因为他不需要累计数据频率。但LRU通过历史数据来预测未来是局限的，它会认为最后到来的数据是最可能被再次访问的，从而给与它最高的优先级。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">在现有算法的局限性下，会导致缓存数据的命中率或多或少的受损，而命中略又是缓存的重要指标。HighScalability网站刊登了一篇文章，由前Google工程师发明的W-TinyLFU——一种现代的缓存。Caffine Cache就是基于此算法而研发。Caffeine 因使用 Window TinyLfu 回收策略，提供了一个近乎最佳的命中率 。 <blockquote data-tool="mdnice编辑器" style="margin-top: 20px;margin-bottom: 20px;padding: 10px 10px 10px 20px;outline: 0px;border-top-style: none;border-right-style: solid;border-bottom-style: none;border-left-color: rgba(0, 0, 0, 0.65);color: rgb(106, 115, 125);font-size: 0.9em;max-width: 100%;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;text-align: left;white-space: normal;overflow: auto;border-right-width: 1px;border-right-color: rgba(0, 0, 0, 0.65);background-color: rgb(249, 249, 249);box-sizing: border-box !important;word-wrap: break-word !important;"> <p style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;font-size: 14px;color: black;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;text-align: justify;">当数据的访问模式不随时间变化的时候，LFU的策略能够带来最佳的缓存命中率。然而LFU有两个缺点： <p style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;font-size: 14px;color: black;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;text-align: justify;">首先，它需要给每个记录项维护频率信息，每次访问都需要更新，这是个巨大的开销； <p style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;font-size: 14px;color: black;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;text-align: justify;">其次，如果数据访问模式随时间有变，LFU的频率信息无法随之变化，因此早先频繁访问的记录可能会占据缓存，而后期访问较多的记录则无法被命中。 <p style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;font-size: 14px;color: black;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;text-align: justify;">因此，大多数的缓存设计都是基于LRU或者其变种来进行的。相比之下，LRU并不需要维护昂贵的缓存记录元信息，同时也能够反应随时间变化的数据访问模式。然而，在许多负载之下，LRU依然需要更多的空间才能做到跟LFU一致的缓存命中率。因此，一个“现代”的缓存，应当能够综合两者的长处。 </blockquote> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">TinyLFU维护了近期访问记录的频率信息，作为一个过滤器，当新记录来时，只有满足TinyLFU要求的记录才可以被插入缓存。如前所述，作为现代的缓存，它需要解决两个挑战： <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">一个是如何避免维护频率信息的高开销； <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">另一个是如何反应随时间变化的访问模式。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">首先来看前者，TinyLFU借助了数据流Sketching技术，Count-Min Sketch显然是解决这个问题的有效手段，它可以用小得多的空间存放频率信息，而保证很低的False Positive Rate。但考虑到第二个问题，就要复杂许多了，因为我们知道，任何Sketching数据结构如果要反应时间变化都是一件困难的事情，在Bloom Filter方面，我们可以有Timing Bloom Filter，但对于CMSketch来说，如何做到Timing CMSketch就不那么容易了。TinyLFU采用了一种基于滑动窗口的时间衰减设计机制，借助于一种简易的reset操作：每次添加一条记录到Sketch的时候，都会给一个计数器上加1，当计数器达到一个尺寸W的时候，把所有记录的Sketch数值都除以2，该reset操作可以起到衰减的作用。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">W-TinyLFU主要用来解决一些稀疏的突发访问元素。在一些数目很少但突发访问量很大的场景下，TinyLFU将无法保存这类元素，因为它们无法在给定时间内积累到足够高的频率。因此W-TinyLFU就是结合LFU和LRU，前者用来应对大多数场景，而LRU用来处理突发流量。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">在处理频率记录的方案中，你可能会想到用hashMap去存储，每一个key对应一个频率值。那如果数据量特别大的时候，是不是这个hashMap也会特别大呢。由此可以联想到 Bloom Filter，对于每个key，用n个byte每个存储一个标志用来判断key是否在集合中。原理就是使用k个hash函数来将key散列成一个整数。 <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">在W-TinyLFU中使用Count-Min Sketch记录我们的访问频率，而这个也是布隆过滤器的一种变种。如下图所示: <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: left;white-space: normal;display: flex;flex-direction: column;justify-content: center;align-items: center;box-sizing: border-box !important;word-wrap: break-word !important;"> <span style="margin-top: 10px;outline: 0px;max-width: 100%;line-height: 0;vertical-align: bottom;-webkit-user-select: none;inset: auto;font-size: 15px;box-sizing: border-box !important;word-wrap: break-word !important;"><img class="rich_pages wxw-img" data-cropselx1="0" data-cropselx2="578" data-cropsely1="0" data-cropsely2="203" data-ratio="0.3507692307692308" src="/upload/f5892b410cda9dbd8a32c24b4c731b16.png" data-type="png" data-w="650" style="outline: 0px;border-width: 0px;border-style: initial;border-color: initial;display: block;box-shadow: rgba(170, 170, 170, 0.48) 0px 0px 6px 0px;border-radius: 4px;margin: 0px;width: 578px;height: 203px;box-sizing: border-box !important;overflow-wrap: break-word !important;visibility: visible !important;inset: auto;"> </figure> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">如果需要记录一个值，那我们需要通过多种Hash算法对其进行处理hash，然后在对应的hash算法的记录中+1，为什么需要多种hash算法呢？由于这是一个压缩算法必定会出现冲突，比如我们建立一个byte的数组，通过计算出每个数据的hash的位置。比如张三和李四，他们两有可能hash值都是相同，比如都是1那byte[1]这个位置就会增加相应的频率，张三访问1万次，李四访问1次那byte[1]这个位置就是1万零1，如果取李四的访问评率的时候就会取出是1万零1，但是李四命名只访问了1次啊，为了解决这个问题，所以用了多个hash算法可以理解为long[][]二维数组的一个概念，比如在第一个算法张三和李四冲突了，但是在第二个，第三个中很大的概率不冲突，比如一个算法大概有1%的概率冲突，那四个算法一起冲突的概率是1%的四次方。通过这个模式我们取李四的访问率的时候取所有算法中，李四访问最低频率的次数。所以他的名字叫Count-Min Sketch。 | 使用 Caffeine Cache 的github地址： <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: justify;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">https://github.com/ben-manes/caffeine <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: left;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">目前的最新版本是： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-right: auto;margin-left: auto;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-size: 14px;text-align: left;box-shadow: rgba(170, 170, 170, 0.48) 0px 0px 6px 0px;border-top-left-radius: 4px;border-top-right-radius: 4px;border-bottom-right-radius: 4px;border-bottom-left-radius: 4px;box-sizing: border-box !important;word-wrap: break-word !important;"><code style="padding: 15px 16px 16px;outline: 0px;max-width: 100%;overflow-x: auto;color: rgb(220, 220, 220);display: -webkit-box;font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;font-size: 12px;background-color: rgb(30, 30, 30);border-top-left-radius: 5px;border-top-right-radius: 5px;border-bottom-right-radius: 5px;border-bottom-left-radius: 5px;box-sizing: border-box !important;word-wrap: break-word !important;"><dependency>     <groupId>com.github.ben-manes.caffeine</groupId>     <artifactId>caffeine</artifactId>     <version>2.6.2</version> </dependency> </code></pre> <h3 data-tool="mdnice编辑器" style="margin-bottom: 15px;margin-top: 20px;">缓存填充策略</h3> <h3 data-tool="mdnice编辑器" style="margin-top: 15px;margin-bottom: 15px;"><span style="caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;text-align: left;font-size: 15px;">Caffeine Cache提供了三种缓存填充策略：手动、同步加载和异步加载。</h3> <h4 data-tool="mdnice编辑器" style="margin-bottom: 10px;">手动加载</h4> <p data-tool="mdnice编辑器" style="padding-top: 8px;padding-bottom: 8px;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 14px;text-align: left;white-space: normal;line-height: 26px;box-sizing: border-box !important;word-wrap: break-word !important;">在每次get key的时候指定一个同步的函数，如果key不存在就调用这个函数生成一个值。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-right: auto;margin-left: auto;outline: 0px;max-width: 100%;caret-color: rgb(0, 0, 0);color: rgb(0, 0, 0);font-size: 14px;text-align: left;box-shadow: rgba(170, 170, 170, 0.48) 0px 0px 6px 0px;border-top-left-radius: 4px;border-top-right-radius: 4px;border-bottom-right-radius: 4px;border-bottom-left-radius: 4px;box-sizing: border-box !important;word-wrap: break-word !important;"><code style="padding: 15px 16px 16px;outline: 0px;max-width: 100%;overflow-x: auto;color: rgb(220, 220, 220);display: -webkit-box;font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;font-size: 12px;background-color: rgb(30, 30, 30);border-top-left-radius: 5px;border-top-right-radius: 5px;border-bottom-right-radius: 5px;border-bottom-left-radius: 5px;box-sizing: border-box !important;word-wrap: break-word !important;">/**      * 手动加载      * @param key      * @return      */ public Object manulOperator(String key) {     Cache<String, Object> cache = Caffeine.newBuilder()         .expireAfterWrite(1, TimeUnit.SECONDS)         .expireAfterAccess(1, TimeUnit.SECONDS)         .maximumSize(10)         .build();     //如果一个key不存在，那么会进入指定的函数生成value     Object value = cache.get(key, t -> setValue(key).apply(key));     cache.put("hello",value);     //判断是否存在如果不存返回null     Object ifPresent = cache.getIfPresent(key);     //移除一个key     cache.invalidate(key);   &nbsp

大意了，一次MySQL分页导致的线上事故...

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="line-height: 1.6;word-break: break-word;text-align: left;padding: 5px;font-size: 16px;color: rgb(53, 53, 53);word-spacing: 0.8px;letter-spacing: 0.8px;border-radius: 16px;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;" data-mpa-powered-by="yiban.io"> 今天给大家分享个生产事故，一个由于MySQL分页导致的线上事故，事情是这样的～ <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">背景</h2> 一天晚上10点半，下班后愉快的坐在在回家的地铁上，心里想着周末的生活怎么安排。 突然电话响了起来，一看是我们的一个运维同学，顿时紧张了起来，本周的版本已经发布过了，这时候打电话一般来说是线上出问题了。 果然，沟通的情况是线上的一个查询数据的接口被疯狂的失去理智般的调用，这个操作直接导致线上的MySql集群被拖慢了。 好吧，这问题算是严重了，匆匆赶到家后打开电脑，跟同事把Pinpoint上的慢查询日志捞出来。看到一个很奇怪的查询，如下 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">1 POST  domain/v1.0/module/method?order=condition&orderType=desc&offset=1800000&limit=500 </code></pre> domain、module 和 method 都是化名，代表接口的域、模块和实例方法名，后面的offset和limit代表分页操作的偏移量和每页的数量，也就是说该同学是在翻第（1800000/500+1=3601）页。初步捞了一下日志，发现有8000多次这样调用。 这太神奇了，而且我们页面上的分页单页数量也不是500，而是 25条每页，这个绝对不是人为的在功能页面上进行一页一页的翻页操作，而是数据被刷了（说明下，我们生产环境数据有1亿+）。详细对比日志发现，很多分页的时间是重叠的，对方应该是多线程调用。 通过对鉴权的Token的分析，基本定位了请求是来自一个叫做ApiAutotest的客户端程序在做这个操作，也定位了生成鉴权Token的账号来自一个QA的同学。立马打电话给同学，进行了沟通和处理。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">分析</h2> 其实对于我们的MySQL查询语句来说，整体效率还是可以的，该有的联表查询优化都有，该简略的查询内容也有，关键条件字段和排序字段该有的索引也都在，问题在于他一页一页的分页去查询，查到越后面的页数，扫描到的数据越多，也就越慢。 我们在查看前几页的时候，发现速度非常快，比如  limit 200,25，瞬间就出来了。但是越往后，速度就越慢，特别是百万条之后，卡到不行，那这个是什么原理呢。先看一下我们翻页翻到后面时，查询的sql是怎样的： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">1 select * from t_name where c_name1='xxx' order by c_name2 limit 2000000,25; </code></pre> 这种查询的慢，其实是因为limit后面的偏移量太大导致的。比如像上面的 limit 2000000,25 ，这个等同于数据库要扫描出 2000025条数据，然后再丢弃前面的 20000000条数据，返回剩下25条数据给用户，这种取法明显不合理。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.6595744680851063" src="/upload/715928eedac10523c130fc0a644c6b0e.png" data-type="png" data-w="1034" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> <figcaption style="margin-top: 5px;text-align: center;color: rgb(136, 136, 136);font-size: 12px;"> image-20220421082735727 </figcaption> </figure> 大家翻看《高性能MySQL》第六章：查询性能优化，对这个问题有过说明： 分页操作通常会使用limit加上偏移量的办法实现，同时再加上合适的order by子句。但这会出现一个常见问题：当偏移量非常大的时候，它会导致MySQL扫描大量不需要的行然后再抛弃掉。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">数据模拟</h2> 那好，了解了问题的原理，那就要试着解决它了。涉及数据敏感性，我们这边模拟一下这种情况，构造一些数据来做测试。 1、创建两个表：员工表和部门表 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">/*部门表,存在则进行删除 */ drop table if EXISTS dep; create table dep(     id int unsigned primary key auto_increment,     depno mediumint unsigned not null default 0,     depname varchar(20) not null default "",     memo varchar(200) not null default "" ); /*员工表,存在则进行删除*/ drop table if EXISTS emp; create table emp(     id int unsigned primary key auto_increment,     empno mediumint unsigned not null default 0,     empname varchar(20) not null default "",     job varchar(9) not null default "",     mgr mediumint unsigned not null default 0,     hiredate datetime not null,     sal decimal(7,2) not null,     comn decimal(7,2) not null,     depno mediumint unsigned not null default 0 ); </code></pre> 2、创建两个函数：生成随机字符串和随机编号 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">/* 产生随机字符串的函数*/ DELIMITER $  drop FUNCTION if EXISTS rand_string; CREATE FUNCTION rand_string(n INT) RETURNS VARCHAR(255) BEGIN     DECLARE chars_str VARCHAR(100) DEFAULT 'abcdefghijklmlopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';     DECLARE return_str VARCHAR(255) DEFAULT '';     DECLARE i INT DEFAULT 0;     WHILE i < n DO     SET return_str = CONCAT(return_str,SUBSTRING(chars_str,FLOOR(1+RAND()*52),1));     SET i = i+1;     END WHILE;     RETURN return_str; END $ DELIMITER; /*产生随机部门编号的函数*/ DELIMITER $  drop FUNCTION if EXISTS rand_num; CREATE FUNCTION rand_num() RETURNS INT(5) BEGIN     DECLARE i INT DEFAULT 0;     SET i = FLOOR(100+RAND()*10);     RETURN i; END $ DELIMITER; </code></pre> 3、编写存储过程，模拟500W的员工数据 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;"> /*建立存储过程：往emp表中插入数据*/  DELIMITER $  drop PROCEDURE if EXISTS insert_emp;  CREATE PROCEDURE insert_emp(IN START INT(10),IN max_num INT(10))  BEGIN      DECLARE i INT DEFAULT 0;      /*set autocommit =0 把autocommit设置成0，把默认提交关闭*/      SET autocommit = 0;      REPEAT      SET i = i + 1;      INSERT INTO emp(empno,empname,job,mgr,hiredate,sal,comn,depno) VALUES ((START+i),rand_string(6),'SALEMAN',0001,now(),2000,400,rand_num());      UNTIL i = max_num      END REPEAT;      COMMIT;  END $  DELIMITER;  /*插入500W条数据*/  call insert_emp(0,5000000); </code></pre> 4、编写存储过程，模拟120的部门数据 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;"> /*建立存储过程：往dep表中插入数据*/  DELIMITER $  drop PROCEDURE if EXISTS insert_dept;  CREATE PROCEDURE insert_dept(IN START INT(10),IN max_num INT(10))  BEGIN      DECLARE i INT DEFAULT 0;      SET autocommit = 0;      REPEAT      SET i = i+1;      INSERT  INTO dep( depno,depname,memo) VALUES((START+i),rand_string(10),rand_string(8));      UNTIL i = max_num      END REPEAT;      COMMIT;  END $  DELIMITER;  /*插入120条数据*/  call insert_dept(1,120); </code></pre> 5、建立关键字段的索引，这边是跑完数据之后再建索引，会导致建索引耗时长，但是跑数据就会快一些。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">/*建立关键字段的索引:排序、条件*/ CREATE INDEX idx_emp_id ON emp(id); CREATE INDEX idx_emp_depno ON emp(depno); CREATE INDEX idx_dep_depno ON dep(depno);  </code></pre> <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">测试</h2> 测试数据 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">/*偏移量为100，取25*/ SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname from emp a left join dep b on a.depno = b.depno order by a.id desc limit 100,25; /*偏移量为4800000，取25*/ SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname from emp a left join dep b on a.depno = b.depno order by a.id desc limit 4800000,25;  </code></pre> 执行结果 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">[SQL] SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname from emp a left join dep b on a.depno = b.depno order by a.id desc limit 100,25; 受影响的行: 0 时间: 0.001s [SQL] SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname from emp a left join dep b on a.depno = b.depno order by a.id desc limit 4800000,25; 受影响的行: 0 时间: 12.275s </code></pre> 因为扫描的数据多，所以这个明显不是一个量级上的耗时。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">解决方案</h2> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 18px;">1、使用索引覆盖+子查询优化</h4> 因为我们有主键id，并且在上面建了索引，所以可以先在索引树中找到开始位置的 id值，再根据找到的id值查询行数据。 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;"> /*子查询获取偏移100条的位置的id，在这个位置上往后取25*/  SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname  from emp a left join dep b on a.depno = b.depno  where a.id >= (select id from emp order by id limit 100,1)  order by a.id limit 25;    /*子查询获取偏移4800000条的位置的id，在这个位置上往后取25*/  SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname  from emp a left join dep b on a.depno = b.depno  where a.id >= (select id from emp order by id limit 4800000,1)  order by a.id limit 25; </code></pre> 执行结果 执行效率相比之前有大幅的提升： <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;"> [SQL]  SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname  from emp a left join dep b on a.depno = b.depno  where a.id >= (select id from emp order by id limit 100,1)  order by a.id limit 25;  受影响的行: 0  时间: 0.106s     [SQL]  SELECT a.empno,a.empname,a.job,a.sal,b.depno,b.depname  from emp a left join dep b on a.depno = b.depno  where a.id >= (select id from emp order by id limit 4800000,1)  order by a.id limit 25;  受影响的行: 0  时间: 1.541s   </code></pre> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 18px;">2、起始位置重定义</h4> 记住上次查找结果的主键位置，避免使用偏移量 offset <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;"> /*记住了上次的分页的最后一条数据的id是100，这边就直接跳过100，从101开始扫描表*/  SELECT a.id,a.empno,a.empname,a.job,a.sal,b.depno,b.depname  from emp a left join dep b on a.depno = b.depno  where a.id > 100 order by a.id limit 25;     /*记住了上次的分页的最后一条数据的id是4800000，这边就直接跳过4800000，从4800001开始扫描表*/  SELECT a.id,a.empno,a.empname,a.job,a.sal,b.depno,b.depname  from emp a left join dep b on a.depno = b.depno  where a.id > 4800000  order by a.id limit 25; </code></pre> 执行结果 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;"><code style="overflow-x: auto;padding: 16px;color: #383a42;background: #fafafa;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;border-radius: 0px;font-size: 12px;-webkit-overflow-scrolling: touch;">[SQL] SELECT a.id,a.empno,a.empname,a.job,a.sal,b.depno,b.depname from emp a left join dep b on a.depno = b.depno where a.id > 100 order by a.id limit 25; 受影响的行: 0 时间: 0.001s   [SQL] SELECT a.id,a.empno,a.empname,a.job,a.sal,b.depno,b.depname from emp a left join dep b on a.depno = b.depno where a.id > 4800000 order by a.id limit 25; 受影响的行: 0 时间: 0.000s  </code></pre> 这个效率是最好的，无论怎么分页，耗时基本都是一致的，因为他执行完条件之后，都只扫描了25条数据。 但是有个问题，只适合一页一页的分页，这样才能记住前一个分页的最后Id。如果用户跳着分页就有问题了，比如刚刚刷完第25页，马上跳到35页，数据就会不对。 这种的适合场景是类似百度搜索或者腾讯新闻那种滚轮往下拉，不断拉取不断加载的情况。这种延迟加载会保证数据不会跳跃着获取。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 18px;">3、降级策略</h4> 看了网上一个阿里的dba同学分享的方案：配置limit的偏移量和获取数一个最大值，超过这个最大值，就返回空数据。 因为他觉得超过这个值你已经不是在分页了，而是在刷数据了，如果确认要找数据，应该输入合适条件来缩小范围，而不是一页一页分页。 这个跟我同事的想法大致一样：request的时候如果offset大于某个数值就先返回一个4xx的错误。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">小结</h2> 当晚我们应用上述第三个方案，对offset做一下限流，超过某个值，就返回空值。第二天使用第一种和第二种配合使用的方案对程序和数据库脚本进一步做了优化。 合理来说做任何功能都应该考虑极端情况，设计容量都应该涵盖极端边界测试。 另外，该有的限流、降级也应该考虑进去。比如工具多线程调用，在短时间频率内8000次调用，可以使用计数服务判断并反馈用户调用过于频繁，直接给予断掉。 哎，大意了啊，搞了半夜，QA同学不讲武德。 </section>

Java常用类，这一次帮你总结好！

作者：微信小助手

<p style="margin: 13px auto;font-family: -apple-system, BlinkMacSystemFont, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Segoe UI", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;font-size: 16px;letter-spacing: 0.015em;font-feature-settings: "tnum";font-variant-numeric: tabular-nums;font-variant-east-asian: normal;line-height: 1.8;word-break: break-word;color: rgb(35, 38, 59);text-align: left;background-color: rgba(255, 255, 255, 0.9);">常用类概述： <ol style="padding-left: 40px;color: rgb(35, 38, 59);font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif;font-size: 15.5px;text-align: left;background-color: rgba(255, 255, 255, 0.9);" class="list-paddingleft-1"> <li style="margin-bottom: 0.5em;list-style: decimal;">内部类</li> <li style="margin-bottom: 0.5em;list-style: decimal;">Object类</li> <li style="margin-bottom: 0.5em;list-style: decimal;">包装类</li> <li style="margin-bottom: 0.5em;list-style: decimal;">数学类</li> <li style="margin-bottom: 0.5em;list-style: decimal;">时间类</li> <li style="margin-bottom: 0.5em;list-style: decimal;">字符串</li> <li style="margin-bottom: 0.5em;list-style: decimal;">String Builder和StringBuffer</li> <li style="margin-bottom: 0.5em;list-style: decimal;">DecimalFormat</li> </ol> <h2 tid="tid-njBzhi" style="margin-top: 10px;margin-bottom: 10px;font-size: 21px;font-weight: bold;line-height: 1.5;color: rgb(35, 38, 59);font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif;text-align: left;background-color: rgba(255, 255, 255, 0.9);"> </h2> <img class="rich_pages wxw-img" data-ratio="0.9900990099009901" data-s="300,640" data-type="png" data-w="101" style="outline: 0px;letter-spacing: 0.544px;color: rgb(51, 51, 51);font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;font-size: 17px;box-sizing: border-box !important;visibility: visible !important;width: 39px !important;height: auto !important;" src="/upload/aae6600a288d838d113c0d9ec611c195.png"> <p style="margin-right: 16px;margin-left: 16px;outline: 0px;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);font-stretch: normal;font-family: "PingFang SC";color: rgb(0, 0, 0);text-align: center;line-height: 1.75em;">-     一、内部类    - <p style="margin: 13px auto;font-family: -apple-system, BlinkMacSystemFont, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Segoe UI", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;font-size: 16px;letter-spacing: 0.015em;font-feature-settings: "tnum";font-variant-numeric: tabular-nums;font-variant-east-asian: normal;line-height: 1.8;word-break: break-word;color: rgb(35, 38, 59);text-align: left;background-color: rgba(255, 255, 255, 0.9);">概念：在一个类内部再定义一个完整的类。 <p style="margin: 13px auto;font-family: -apple-system, BlinkMacSystemFont, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Segoe UI", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;font-size: 16px;letter-spacing: 0.015em;font-feature-settings: "tnum";font-variant-numeric: tabular-nums;font-variant-east-asian: normal;line-height: 1.8;word-break: break-word;color: rgb(35, 38, 59);text-align: left;background-color: rgba(255, 255, 255, 0.9);">一般情况下类与类之间是相互独立的，内部类的意思就是打破这种独立思想，让一个类成为另一个类的内部信息，和成员变量、成员方法同等级别。 <p style="margin: 13px auto;font-family: -apple-system, BlinkMacSystemFont, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Segoe UI", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;font-size: 16px;letter-spacing: 0.015em;font-feature-settings: "tnum";font-variant-numeric: tabular-nums;font-variant-east-asian: normal;line-height: 1.8;word-break: break-word;color: rgb(35, 38, 59);text-align: left;background-color: rgba(255, 255, 255, 0.9);">内部类的好处： <p style="margin: 13px auto;font-family: -apple-system, BlinkMacSystemFont, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Segoe UI", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;font-size: 16px;letter-spacing: 0.015em;font-feature-settings: "tnum";font-variant-numeric: tabular-nums;font-variant-east-asian: normal;line-height: 1.8;word-break: break-word;color: rgb(35, 38, 59);text-align: left;background-color: rgba(255, 255, 255, 0.9);">把一个类写在外面和写在里面最终达到的结果都一样，那我们为什么还要使用内部类，岂不是多此一举吗？ <p style="margin: 13px auto;font-family: -apple-system, BlinkMacSystemFont, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Segoe UI", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;font-size: 16px;letter-spacing: 0.015em;font-feature-settings: "tnum";font-variant-numeric: tabular-nums;font-variant-east-asian: normal;line-height: 1.8;word-break: break-word;color: rgb(35, 38, 59);text-align: left;background-color: rgba(255, 255, 255, 0.9);">采用内部类这种技术，可以隐藏细节和内部结构，封装性更好，让程序的结构更加合理！如果类很多且都暴露在外面，那么类与类之间的调用就会十分繁琐！ <h3 tid="tid-XnFaCd" style="margin-top: 10px;margin-bottom: 10px;font-weight: bold;line-height: 1.5;color: rgb(35, 38, 59);font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif;text-align: left;background-color: rgba(255, 255, 255, 0.9);">内部类的分类：</h3> <h3 tid="tid-MGJXXB" style="margin-top: 10px;margin-bottom: 10px;font-weight: bold;line-height: 1.5;color: rgb(35, 38, 59);font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif;text-align: left;background-color: rgba(255, 255, 255, 0.9);">1.成员内部类（非静态内部类）</h3> <p style="margin: 13px auto;font-family: -apple-system, BlinkMacSystemFont, "Apple Color Emoji", "Segoe UI Emoji", "Segoe UI Symbol", "Segoe UI", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "Helvetica Neue", Helvetica, Arial, sans-serif;font-size: 16px;letter-spacing: 0.015em;font-feature-settings: "tnum";font-variant-numeric: tabular-nums;font-variant-east-asian: normal;line-height: 1.8;word-break: break-word;color: rgb(35, 38, 59);text-align: left;background-color: rgba(255, 255, 255, 0.9);">【参考代码】 <code-box style="margin: 5px;display: block;border-radius: 4px;box-shadow: rgba(37, 44, 97, 0.15) 0px 4px 11px -2px, rgba(93, 100, 148, 0.06) 0px 1px 3px 0px;color: rgb(35, 38, 59);font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif;font-size: 15.5px;text-align: left;background-color: rgba(255, 255, 255, 0.9);"></code-box> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/1gvL9ficRs1GibnrTz1DwbL0gBoEDoEtoIEVguf8ic6OicoUssialFIZbicoo7Yxk8msF71QyOvKIzB8n67r4IPRr6sFF4LperFBHp/640?wx_fmt=svg&random=0.5784664163446418") 10px 10px / 40px no-repeat rgb(40, 44, 52);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #abb2bf;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #282c34;border-radius: 5px;">package NeiBuLei; public class OuterClass {     //成员变量     private String OuterName;     //成员方法     public void display(){         System.out.println("这是外部类方法！");         System.out.println(OuterName);     }     //内部类     public class InnerClass{         //成员变量         private String InnerNme;         //构造方法         public InnerClass() {             InnerNme = "Inner Class";         }         //成员方法         public void display(){             System.out.println("这是内部类方法！");             System.out.println(InnerNme);         }     }     // 主方法     public static void main(String[] args) {         OuterClass outerClass = new OuterClass();         outerClass.display();//这是外部类方法！null         // 这个类是内部类，已经不是独立的类了，因此不能像外部类一样直接创建！         //InnerClass innerClass = new InnerClass(); 行不通         OuterClass.InnerClass innerClass = outerClass.new InnerClass();// 同成员方法/变量 只是加了个前缀

一键部署k8s多、单集群命令（波哥亲测有效）

作者：微信小助手

<section style="font-size: 16px;color: rgb(62, 62, 62);line-height: 1.6;letter-spacing: 0px;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;" data-mpa-powered-by="yiban.io"> <section style="font-size: 16px;color: rgb(62, 62, 62);line-height: 1.6;letter-spacing: 0px;font-family: "Helvetica Neue", Helvetica, "Hiragino Sans GB", "Microsoft YaHei", Arial, sans-serif;"> <img class="rich_pages wxw-img" data-ratio="0.7655529953917051" src="/upload/fb5ced34303bbdd530013f9251531e64.png" data-type="png" data-w="6944" style="color: inherit;font-size: inherit;letter-spacing: 0px;"> <section> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">项目地址: https://github.com/fanux/sealos 参考地址: https://fuckcloudnative.io/posts/sealos/ https://www.sealyun.com/goodsDetail?type=cloud_kernel&name=kubernetes 官方教程: https://www.sealyun.com/instructions/2 </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">安装前提条件(k8s官方不支持Rhel8系列)</h4> !!!!高能警告:Rhel8,Centos8和Rocky8预装了podman和nftables,而nftables和kube-proxy不兼容,Rhel8系列安装k8s不能正常工作.建议使用Centos7(升级内核到5.4以上) 或Ubuntu. issue提了快2年了，我看估计是没戏了。https://github.com/kubernetes/kubernetes/pull/97070 高版本离线包自带docker/containerd，如没安装docker/containerd会自动安装.1.22版本以上强制安装containerd,要求卸载docker. <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">安装前的注意事项</h3> Linux系统配置好主机名和IP地址,主机间配置ssh免密登录,无需更多配置 下载kubernetes 离线安装包. 下载最新版本sealos. 务必同步服务器时间 主机名不可重复 master节点CPU必须2C以上 请使用sealos 3.2.0以上版本 网卡名称如果是不常见的，建议修改成规范的网卡名称，如(eth.|en.|em.*) cni组件选择cilium时要求内核版本不低于5.4 podSubnet: 100.64.0.0/10 serviceSubnet: 10.96.0.0/12 继10.0.0.0/8、172.16.0.12、192.168.0.0/16之后又诞生了第四个私有IPv4地址，但100.64.0.0/10是在服务商网络内，不同之处在于只使用。 100.64.0.0/10，Shared address space，是预留给ISP运营商做NAT用的。ISP运营商设备给用户分配100.64.0.0/10内的IP，然后再在运营商设备上进行NAT，转换成公网IP。 <img class="rich_pages wxw-img" data-ratio="0.42476060191518467" src="/upload/ff3b0698ac67e93567fa42143c53a34d.png" data-type="png" data-w="2924"> <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">快速二进制包安装k8s高可用集群</h3> 不要指定网卡参数 --network,会导致cni启动不了 生产环境只建议安装次新版!!! <h5 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1em;">下载并安装sealos, sealos是个golang的二进制工具，直接下载拷贝到bin目录即可, release页面也可下载</h5> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">wget -c https://sealyun-home.oss-cn-beijing.aliyuncs.com/sealos/latest/sealos && \     chmod +x sealos && mv sealos /usr/bin </code></pre> <h5 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1em;">下载离线资源包</h5> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">wget -c https://sealyun.oss-cn-beijing.aliyuncs.com/05a3db657821277f5f3b92d834bbaf98-v1.22.0/kube1.22.0.tar.gz </code></pre> <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">安装一个三master的kubernetes集群</h3> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">##### 如已设ssh免密登录可以不需要--passwd参数 ##### --podcidr 配置pod网段 ##### --svccidr 配置clusterip网段 ##### --network  机器网卡名，CNI网卡发现用 sealos init --master 192.168.32.200 --master 192.168.32.202 --node 192.168.32.221 --pkg-url /root/kube1.22.7.tar.gz --version v1.22.7 --podcidr 10.244.0.0/16 --svccidr 10.93.0.0/12 </code></pre> <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">安装单master的k8s集群</h3> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">sealos init \     --master 192.168.0.2 \     --node 192.168.0.12 \     --pkg-url /root/kube1.22.0.tar.gz \     --version v1.22.0 </code></pre> 安装日志 安装日志所在位置～/.sealos/sealos.log <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">自定义网络</h3> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">pod的ip地址段，也称为cidr podcidr 参数指定自定义pod网段 如  --podcidr 10.244.0.0/16 \ #### svccidr 参数指定clusterip网段 如  --svccidr 10.93.0.0/12 \ #### 不安装cni插件 without-cni sealos自带calico网络，如果你想自己装CNI不用默认可加此参数， 如  sealos init --without-cni … #### 自定义cni插件 -- network flannel </code></pre> <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">添加证书</h3> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">#需要添加证书， 在init的时候指定--cert-sans 域名即可 #证书有效期是99年 sealos init --cert-sans 域名 \     --master 192.168.0.2 \     --node 192.168.0.12 \     --pkg-url /root/kube1.22.0.tar.gz \     --version v1.22.0     --podcidr 10.244.0.0/16 \     --svccidr 10.93.0.0/12 \ </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">参数注释</h4> <span style="color: rgb(77, 77, 77);font-family: -apple-system, "SF UI Text", Arial, "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei", "WenQuanYi Micro Hei", sans-serif;font-size: 16px;font-variant-ligatures: no-common-ligatures;text-align: start;background-color: rgb(255, 255, 255);">详细参数: https://www.sealyun.com/instructions/2 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.26619433198380565" data-s="300,640" src="/upload/ab768df92ed0b9abdf3fbb2ebaba4f48.png" data-type="png" data-w="988" style=""> <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">节点操作</h3> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">增加master</h4> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">sealos join --master 192.168.0.6 --master 192.168.0.7 sealos join --master 192.168.0.6-192.168.0.9  # 或者多个连续IP </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">增加node</h4> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">sealos join --node 192.168.0.6 --node 192.168.0.7 sealos join --node 192.168.0.6-192.168.0.9  # 或者多个连续IP </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">删除指定master节点</h4> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">sealos clean --master 192.168.0.6 --master 192.168.0.7 sealos clean --master 192.168.0.6-192.168.0.9  # 或者多个连续IP </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">删除指定node节点</h4> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">sealos clean --node 192.168.0.6 --node 192.168.0.7 sealos clean --node 192.168.0.6-192.168.0.9  # 或者多个连续IP </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">清理集群</h4> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">#注意clean不加任何参数会清理整个集群,等同于sealos clean --all sealos clean --all </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">备份集群</h4> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;"># 查看备份帮助 sealos etcd save -h ##本地备份 #本地备份, 默认保存在/opt/sealos/ectd-backup这个目录， 默认名称为sanpshot sealos etcd save #本地备份并复制到各master节点。增加--docker参数， 默认在生成的文件下添加当前的uinx时间戳 #然后复制到各master节点 sealos etcd save --docker ####备份上传到阿里云oss 备份上传至oss，首次执行带命令行或者编辑~/.sealos/config.yaml sealos etcd save --docker \     --aliId youraliyunkeyid \     --aliKey youraliyunkeysecrets \     --ep oss-cn-hangzhou.aliyuncs.com  \     --bucket etcdbackup  \     --objectPath /sealos/  </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">升级k8s版本</h4> 参考: https://www.sealyun.com/instructions/5 <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">#升级前注意事项: #确保集群是健康状态 kubectl get nodes -owid #确保kube-system下的pod运行正常 kubectl get pod -n kube-system -owide #执行升级 #版本必须要大于等于1.18.0，才可升级 #执行升级前提前下载好新版本的离线安装包 # 升级到1.19.2版本 sealos upgrade --version v1.19.2 --pkg-url /root/kube1.19.2.tar.gz -f | tee -a upgrade.1183-1192.log  </code></pre> <h3 style="line-height: inherit;margin-top: 1.5em;font-weight: bold;font-size: 1.3em;margin-bottom: 2em;margin-right: 5px;padding: 8px 15px;letter-spacing: 2px;background-image: linear-gradient(to right bottom, rgb(0, 188, 212), rgb(63, 81, 181));background-color: rgb(63, 81, 181);color: rgb(255, 255, 255);border-left: 10px solid rgb(51, 51, 51);border-radius: 5px;text-shadow: rgb(102, 102, 102) 1px 1px 1px;box-shadow: rgb(102, 102, 102) 1px 1px 2px;">containerd镜像和容器管理</h3> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">nerdctl用法参考: </code><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">https:<span style="white-space:pre-wrap;color: inherit;font-family: Consolas, Inconsolata, Courier, monospace;font-size: inherit;line-height: inherit;overflow-wrap: inherit !important;word-break: inherit !important;">//mdnice.com/writing/c57c45c557bf46b0835958134892abc4</code><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">官方工具是crictl,但是更推荐使用nerdctl.和docker官方语法几乎完全一致. 也可以使用alias将nerdctl设别名为docker. # nerdctl要加上-n=k8s.io nerdctl -n=k8s.io images # 配置nerdctl自动补全 source <(nerdctl completion bash) echo 'source <(nerdctl completion bash)' >>~/.bashrc # 设置alias别名为docker echo "alias docker='nerdctl -n=k8s.io'" >>~/.bashrc source .bashrc 使用nerdctl打包docker镜像 参考: https://mp.weixin.qq.com/s/Bjn0s5qRh2H9I__mAYh4jg nerdctl使用方法 参考: https://mp.weixin.qq.com/s/vs_XIn-cpEXtWoF8Yb9vRw containerd配置代理 老是替换源太麻烦了,直接上代理 https://segmentfault.com/a/1190000020363043 # 创建/etc/systemd/system/containerd.service.d目录 mkdir /etc/systemd/system/containerd.service.d # 配置代理 cat > /etc/systemd/system/containerd.service.d/proxy.conf << EOF > [Service]  > Environment="HTTP_PROXY=socks5://127.0.0.1:1080"  > Environment="HTTPS_PROXY=socks5://127.0.0.1:1080"  "NO_PROXY=localhost,127.0.0.1,192.168.0.0/16,10.0.0.0/8,docker-registry.somecorporation.com,isdp30x2.mirror.aliyuncs.com,hub-mirror.c.163.com,mirror.baidubce.com"' > EOF # 重启containerd服务 systemctl daemon-reload systemctl restart containerd # 查看配置的代理 systemctl show --property=Environment containerd.service  </code></pre> <h4 style="color: inherit;line-height: inherit;margin-top: 1.5em;margin-bottom: 1.5em;font-weight: bold;font-size: 1.2em;">containerd配置代理ansible剧本</h4> <pre style="font-size: inherit;color: inherit;line-height: inherit;"><code style="margin-right: 2px;margin-left: 2px;line-height: 18px;font-size: 14px;letter-spacing: 0px;font-family: Consolas, Inconsolata, Courier, monospace;border-radius: 0px;color: rgb(169, 183, 198);background: rgb(40, 43, 46);padding: 0.5em;overflow-wrap: normal !important;word-break: normal !important;overflow: auto !important;display: -webkit-box !important;">--- - hosts: all   tasks:     - name: 创建containerd.service.d目录       file:         path: /etc/systemd/system/containerd.service.d         state: directory     - name: 创建proxy.conf文件       file:         path: /etc/systemd/system/containerd.service.d/proxy.conf         state: touch     - name: 为http_proxy.conf文件添加配置信息       copy:         content: |           [Service]           Environment="HTTP_PROXY=socks5://127.0.0.1:1080"            Environment="HTTPS_PROXY=socks5://127.0.0.1:1080"  "NO_PROXY=localhost,127.0.0.1,docker-registry.somecorporation.com,isdp30x2.mirror.aliyuncs.com,hub-mirror.c.163.com,mirror.baidubce.com"         dest: /etc/systemd/system/containerd.service.d/proxy.conf       notify: 重启containerd服务   handlers:     - name: 重启containerd服务       systemd:         state: restarted         daemon_reload: yes         name: containerd </code></pre> </section> <hr style="border-style: solid;border-width: 1px 0 0;border-color: rgba(0,0,0,0.1);-webkit-transform-origin: 0 0;-webkit-transform: scale(1, 0.5);transform-origin: 0 0;transform: scale(1, 0.5);"> 格式整理：IT运维技术圈 原文地址：https://blog.csdn.net/omaidb/article/details/116599552 </section> </section>

Redis 突然变慢了如何排查并解决？

作者：微信小助手

Redis 通常是我们业务系统中一个重要的组件，比如缓存、账号登录信息、排行榜等。 <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="white-space: normal;text-align: left;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">一旦 Redis 请求延迟增加，可能就会导致业务系统“雪崩”。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">我在单身红娘婚恋类型互联网公司工作，在双十一推出下单就送女朋友的活动。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">谁曾想，凌晨 12 点之后用户量暴增，出现了一个技术故障。用户无法下单，当时老大火冒三丈。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">经过查找发现 Redis 报 Could not get a resource from the pool。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">获取不到连接资源，并且集群中的单台 Redis 连接量很高。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">大量的流量没了 Redis 的缓存响应，直接打到了 MySQL，最后数据库也宕机了…… <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">于是各种更改最大连接数、连接等待数。虽然报错信息频率有所缓解，但还是持续报错。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">后来经过线下测试，发现存放 Redis 中的字符数据很大，返回数据平均需要 1 秒。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">可以发现，一旦 Redis 延迟过高会引发各种问题。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">今天「码哥」跟大家一起来分析下如何确定 Redis 有性能问题和解决方案。 <ul class="list-paddingleft-1" style="white-space: normal;text-align: left;"> </ul> <h1 data-tool="mdnice编辑器" style="white-space: normal;text-align: left;"><span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;color: rgb(171, 25, 66);">1 Redis 性能出问题了吗？</h1> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">最大延迟是客户端发出命令到客户端收到命令的响应的时间，正常情况下 Redis 处理的时间极短，在微秒级别。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">当 Redis 出现性能波动的时候，比如达到几秒到十几秒，这个很明显我们可以认定 Redis 性能变慢了。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">有的硬件配置比较高，当延迟 0.6 毫秒，我们可能就认定变慢了。硬件比较差的可能 3 毫秒我们才认为出现问题。 那我们该如何定义 Redis 真的变慢了呢？ <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">所以，我们需要对当前环境的 Redis 基线性能做测量。也就是在一个系统在低压力、无干扰情况下的基本性能。 <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> <span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;">当你发现 Redis 运行时时的延迟是基线性能的两倍以上，就可以判定 Redis 性能变慢了。 <h2 data-tool="mdnice编辑器" style="white-space: normal;text-align: left;"><span style="font-size: 15px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;text-align: justify;"> </h

架构揭秘 | 春晚微信红包是如何抗住100亿次请求的？

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="line-height: 1.6;word-break: break-word;text-align: left;font-size: 15px;color: rgb(53, 53, 53);word-spacing: 0.8px;letter-spacing: 0.8px;border-radius: 16px;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;" data-mpa-powered-by="yiban.io"> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="line-height: 1.6;word-break: break-word;text-align: left;font-size: 15px;color: rgb(53, 53, 53);word-spacing: 0.8px;letter-spacing: 0.8px;border-radius: 16px;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> 大家好，我是悟空呀~ 最近 xingxing 哥咨询红包系统的架构如何设计，悟空找到一篇不错的文章，感觉非常不错，分享给大家看下~ <hr data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;height: 1px;border-width: initial;border-style: none;border-color: initial;text-align: center;background-image: linear-gradient(to right, rgba(248, 57, 41, 0), rgba(248, 57, 41, 0.75), rgba(248, 57, 41, 0));"> <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;border-left-color: rgb(255, 177, 27);background: rgb(255, 245, 227);"> 来源：archsummit 链接：https://www.infoq.cn/article/weixin-bonus-load/?_t=t 排版：悟空哥 </blockquote> 今天跟大家分享的主题是如何实现 “有把握” 的春晚摇一摇系统。回忆一下春晚的活动，有什么样的活动形式呢？ <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7520661157024794" src="/upload/d18fccabe243984c66ef1c7032d44e94.png" data-type="png" data-w="1452" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> </figure> 当时我们是直接复用客户端摇一摇入口，专门给春晚摇一摇定制了一个页面，可以摇出 “现金拜年”、“红包”。底下的红包肯定是大家比较感兴趣的，也是今天下午重点介绍的内容。比较精彩的活动背后一定会有一个设计比较独到的系统。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">V0.1 原型系统</h2> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7434119278779473" src="/upload/e5b5b52cc9bb874ce4c2c18c58649682.png" data-type="png" data-w="1442" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> </figure> 我们看一下这个系统，我们当时做了一个原型系统，比较简单，它已经实现了所有的功能，摇那个手机的时候会通过客户端发出一个请求，接入服务器，然后摇一摇服务，进行等级判断，判断以后把结果给到后端，可能摇到拜年或红包，假设摇到红包，上面有 LOGO 和背景图，客户端把这个 LOGO 和背景图拉回去，用户及时拆开红包，拆的请求会来到红包系统，红包系统进行处理之后会到支付系统，到财富通的转帐系统，最终用户拿到红包。拿到钱以后，只是其中一份，还有好几份是可以分享出去，我们称之为 “分裂红包”，通过信息系统转发给好友或群里，好友跟群里的人可以再抢一轮。 整个过程归一下类，叫资源流、信息流、业务流、资金流，今天讲的主要是资源流跟信息流。 原始系统看起来比较简单，是不是修改一下直接拿到春晚上用就可以了？肯定不行的。到底它有什么样的问题呢，为什么我们不能用，在回答这个问题之前想请大家看一下我们面临的挑战。 1、我们面临怎样的挑战？ 第一个挑战是比较容易想到的，用户请求量很大，当时预计 7 亿观众，微信用户也挺多的，当时预估一下当时峰值达到一千万每秒，通过图对比一下，左边是春运抢火车票，一秒钟请求的峰值是 12 万，第二个是微信系统，微信系统发消息有个小高峰，那时候峰值每秒钟是 33 万，比较高一点的是预估值一千万每秒，右边是春晚时达到的请求峰值是 1400 万每秒。 这个活动跟春晚是紧密互动的，有很多不确定因素，体现在几个方面。一个是在开发过程中，我们的活动怎么配合春晚，一直没有定下来，很可能持续到春晚开始前，显然我们的客户端跟我们的系统到那时候才发布出去，这时候我们的开发就会碰到比较多的问题了，这是第一个。 第二个挑战，在春晚过程中，因为春晚是直播型节目，节目有可能会变，时长会变，顺序会变，活动过程跟春晚节目紧密衔接在一起，自己也是会有挑战的，这也是不确定的因素。再就是我们系统是定制的，专门为春晚定制，只能运行这么一次，这是挺大的挑战，运行一次的系统不能通过很长的时间，检查它其中有什么问题很难，发出去了以后那一次要么就成功了，要么就失败了。 第三个挑战，因为春晚观众很多，全国人民都在看，高度关注，我们必须保证成功，万一搞砸了就搞砸在全国人民面前了。这么大型的活动在业界少见，缺少经验，没有参考的东西。还有就是我们需要做怎样的准备才能保证万无一失或者万有一失，保证绝大部分用的体验是 OK 的，有很多问题需要我们不断地摸索思考。原型系统不能再用的，再用可能就挂了。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">2、原型系统存在哪些问题？</h2> 原型系统有哪些问题呢？第一个是在流量带宽上，大量的用户请求会产生大量的带宽，预估带宽峰值是 3000pb 每秒，假设我们资源是无限的能够满足带宽需求，也会碰到一个问题，用户摇到以后有一个等待下载的过程。第二个问题，在接入质量这一块，我们预估同时在线 3.5 亿左右，特别是在外网一旦产生波动的时候怎么保证用户体验不受损而系统正常运作。第三个挑战，请求量很大，1000 万每秒，如何转到摇一摇服务，摇一摇服务也面临一千万请求量，我们系统要同时面对两个一千万请求量，这不是靠机器的，大家都有分布式的经验，这么大请求量的时候任何一点波动都会带来问题，这是一个很大的挑战。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">3、我们是如何解决这些问题的？</h2> 针对以上几点，我们详细看一下每一点我们是怎么做到的。我们首先看一下信心指数，把这个系统拿到春晚去跑有多少信心，这里的指数是 10，如果这个系统拿到春晚去用，而且还成功了，这个概率是 10%。当然我们的系统不能建立在运气的基础上，应该怎么做？第一个，在带宽这一块客户端可以摇到多种多样的结果，结果大部分都是静态资源，静态资源我们可以提前制作出来下发到客户端，在后台做了资源推送的服务，客户端拿到列表以后可以先行下载，客户端利用闲时把资源拉过去。碰到几个问题，资源交付情况的问题，需要增量的发下去；二是资源更新；三是资源下载失败，失败的话怎么办呢；四是资源覆盖率，依靠这个系统下载资源的用户，比如覆盖率只有 20%、30%，两个东西就没有意义了，覆盖率要达到 90% 左右；五是离线资源下载，万一有些人把里面的东西修改了，可能会产生意想不到的结果，怎么保证离线资源的安全。 这里有个数据，2 月 9 号到 2 月 18 号下发资源 65 个，累积流量 3.7PB，峰值流量 1Tb/s。通过这种方式解决了下载资源的问题。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7545582047685835" src="/upload/8646750db902b4f3e1139ce1b8d46e39.png" data-type="png" data-w="1426" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> </figure> 再就是外网接入质量，在上海跟深圳两地建立了十八个接入集群，每个城市有三网的介入，总共部署了 638 台接入服务器，可以支持同时 14.6 亿的在线。 所有用户的请求都会进入到接入服务器，我们建立了 18 个接入集群，保证如果一个出现问题的时候用户可以通过其它的接入，但是在我们内部怎么把请求转给摇一摇服务，摇一摇处理完还要转到后端，怎么解决呢？解决这个问题代价非常大，需要很多资源，最终我们选择把摇一摇服务去掉，把一千万每秒的请求干掉了，把这个服务挪入到接入服务。除了处理摇一摇请求之外，所有微信收消息和发消息都需要中转，因为这个接入服务本身，摇一摇的逻辑，因为时间比较短，如果发消息也受影响就得不偿失了。 恰好有一个好处，我们的接入服务的架构是有利于我们解决这个问题的，在这个接入节点里分为几个部分，一个是负责网络 IO 的，提供长链接，用户可以通过长链接发消息，回头可以把请求中转到另外一个模块，就是接入到逻辑模块，平时提供转发这样的功能，现在可以把接入逻辑插入。这样做还不够，比方说现在做一点修改，还需要上线更新，摇一摇的活动形式没有怎么确定下来，中间还需要修改，但是上线这个模块也不大对，我们就把接入的逻辑这一块再做一次拆分，把逻辑比较固定、比较轻量可以在本地完成的东西，不需要做网络交互的东西放到了接入服务里。 另外一个涉及到网络交互的，需要经常变更的，处理起来也比较复杂的，做了个 Agent，通过这种方式基本上实现了让接入能够内置摇一摇的逻辑，而且接入服务本身的逻辑性不会受到太大的损伤。解决这个问题之后就解决了接入的稳定性问题，后面的问题是摇一摇怎么玩，摇一摇怎么玩是红包怎么玩，在红包过程中怎么保证红包是安全的呢，红包涉及到钱，钱是不能开玩笑的。第三个问题是怎样跟春晚保持互动，春晚现场直播，我们怎么跟现场直播挂钩衔接起来。 先看红包如何发放。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7479108635097493" src="/upload/f45606fd925a99ff4dde4c3066d5e738.png" data-type="png" data-w="1436" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> </figure> 前面说道摇一摇请求，其实是在接入服务做的，红包也是在接入服务里发出去的，为了在发红包过程中不依赖这个系统，我们把红包的种子文件在红包系统里生成出来，切分，分到每个接入服务器里，每个接入服务器里都部署了专门的红包文件。一个红包不能发两次，红包的发放速率需要考虑，发放红包一定有用户拆，拆了还要再抢，我们需要精确控制，确保所有请求量都是在红包系统能够接受的范围内。在这个过程中还会有另外一个风险，用户摇到红包之后还可以有一些分裂红包分出去，他也可以不分享，不分享的也不会浪费，可以回收过来，会通过本地拉回去。这部分因为是比较少量的，问题不大，因为所有红包已经发出去了，只是补充的。这里我们就搞定了红包发放。 二是怎么样保证红包不被多领或恶意领取，每个客户领三个红包，这是要做限制的，但这是有代价的，就是存储的代价。 我们在我们的协议里后台服务接入的摇一摇文件里下发红包的时候写一个用户领取的情况，客户端发再次摇一摇请求的时候带上来，我们检查就行了，这是一个小技巧，这种方式解决用户最多只能领三个、企业只能领一个限制的问题。这个只能解决正版客户端的问题，恶意用户可能不用正版，绕过你的限制，这是有可能的。怎么办呢？一个办法是在 Agent 里面，通过检查本机的数据能够达到一个目的，摇一摇接入服务例有 638 台，如果迫到不同的机器，我们是长连，还可以短连，还可以连到另一台服务器，可以连到不同的地方去。还有一个问题是人海战术，有些人拿着几万、几十万的号抢，抢到都是你的，那怎么办呢？这个没有太好的办法，用大数据分析看用户的行为，你平时养号的吗，正常养号吗，都会登记出来。 怎样跟春晚现场保持互动？需要解决的问题有两个，一个是要迅速，不能拖太长时间，比如现在是刘德华唱歌，如果给出的明星摇一摇还是上一个节目不太合适，要求我们配置变更需要迅速，二是可靠。我们怎么做的呢？ <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7496522948539638" src="/upload/dd7e2d6f99544340d0f51ce2e2543977.png" data-type="png" data-w="1438" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> </figure> 春晚现场我们是专门有同学过去的，在他们电脑装了系统，可以跟我们后台进行交互的，节目变了节切一下，变动的请求会发到后台，我们部署两套，一套在深圳、一套在上海，在这个配置里还准备了三步服务，哪一步都可以，同时还可以同步这个数据，这个数据还可以下发到所有的接入机器，会把它同步过去，不是用一种方式，而是用三种方式，通过这种方式可以迅速的在一千台服务器成功，是不是能够达到配置一定能够用？不一定，春晚现场是不可控的，万一指令没有发出怎么办？如果六个配置服务都挂了怎么办，从上一个节目切到下一个节目的时候发生这种问题不是太大，但是主持人在十点三十的时候如果摇红包一摇啥都没有，这就怒了，口播出不来也就挂了。 怎么做的呢？主持人肯定有口播，口播的时间点我们大致知道，虽然不知道精确的时间点，比如彩排的时候告诉我们一个时间，后来变了，我们大致知道时间范围，可以做倒计时的配置，比如十点半不管你有没有口播我们都要发红包了。如果节目延时太长了，你的红包十分钟发完了，之后摇不到，那也不行，这种情况下我们做了校正，在节目过程中我们不断校正倒计时的时间，设了一个策略，定了一个流程，半小时的时候要通知一下我这个时间，因为它是预估的，节目越到后面能定下来的时间范围越精确，提前告诉我们，我们就可以调整。那时候现场是在春晚的小会议室，在小会议室看不到现场什么情况，也是通过电视看，结果电视没信号了，就蒙了，校准就不知道现在怎么回事，进行到哪一步了，当时很着急，还好后来没事，后续的几个节目还是校正回来了，最终我们是精确的在那个时间点出现了抢红包。前面讲了怎么在系统解决流量的问题、请求量的问题，最重要的一点是我们预估是一千万每秒，但如果春晚现场出来的是两千万、三千万或四千万怎么办，是不是整个系统就挂掉了。 我们就是采用过载保护，过载保护中心点是两点，前端保护后端，后端拒绝前端。一个是在客户端埋入一个逻辑，每次摇变成一个请求，摇每十秒钟或五秒钟发送一个请求，这样可以大幅度降低服务器的压力，这只会发生到几个点，一个是服务访问不了、服务访问超时和服务限速。实时计算接入负载，看 CPU 的负载，在衔接点给这台服务器的用户返回一个东西，就是你要限速了，你使用哪一档的限速，通过这种方式，当时有四千万用户在摇我们也能扛得住。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">V0.5 测试版</h2> 这是我们的 0.5 测试版，对这个我们的信心指数是 50，为什么只有 50% 的把握？ <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7444444444444445" src="/upload/e79b98b1c839b71ca672dc623fe1ddd6.png" data-type="png" data-w="1440" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> </figure> 我们前面解决的问题都是解决用户能摇到红包，服务器还不会坏掉，但是对摇红包来说那是第一步，后面还有好几步，还要把红包拆出来，还要分享，分享完以后其它人可以抢，这个体验是要保证的，简单分析一下可以发现前面是本人操作，后面是好友操作，这里就存在一个契机，你可以做一些服务，一旦出现问题是可以利用的点，可以做延时。剩下的问题是保证本人操作比较好，后面出点问题可以延迟，有延迟表示有时间差处理那个东西。 1、核心体验是什么？ 这里面我们需要确保成功，确保体验是完全 OK 的，确保成功的时候前面提到原型的系统里解决了摇到红包的问题，剩下的就是拆红包和分享红包。怎么样确保拆红包和分享红包的用户体验？ 2、如何确保拆 / 分享红包的用户体验？ 拆红包和分享红包可以做一下切割，可以切割成两个部分，一个是用户的操作，点了分享红包按纽，之后是转帐，对我们来说确保前面一点就可以了，核心体验设计的东西再次缩小范围，确保用户操作这一步能够成功。怎么确保呢？我们称之为 “铁三角” 的东西，拆 / 分享红包 = 用户操作 + 后台彰武逻辑。这是我们能做到的最高程度了。 3、还能做得更极致吗？ 但我们还可以做的更好一点，前面这个用户看起来还是成功的，只是入帐入的稍微迟一点点，用户感觉不到。如果我们异步队列这里挂了，或者网络不可用了，概率比较低，我们有三个数据中心，挂掉一个问题不大，万一真的不能用呢，我们又做了一次异步，分两部分：一个是业务逻辑，校验这个红包是不是这个用户的，还有一个透传队列，把这个数据再丢到后边，其实可以相信本机的处理一般是可以成功的，只要做好性能测试基本上是靠谱的。在后面出现问题的时候我们用户的体验基本不受损，保证绝大多数用户的体验是 OK 的。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">V0.8 预览版</h2> 我们又做了 0.8 的版本，预览版，信心指数 70，我们认为这个东西有七成把握是可以成功的。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7402777777777778" src="/upload/8db873249e05e063569d2b455ae6c467.png" data-type="png" data-w="1440" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> <figcaption style="margin-top: 5px;text-align: center;color: rgb(136, 136, 136);font-size: 12px;"> img </figcaption> </figure> <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;border-left-color: rgb(255, 177, 27);background: rgb(255, 245, 227);"> 大家知道设计并不等于实现，设计的再好，实践有问题也很崩溃，要保证设计一是全程压测，二是专题 CODE REVIEW，三是内部演练，四是线上预热，五是复盘与调整。 </blockquote> 复盘包括两部分，有问题的时候可以把异常问题看出来，二是很正常，跑的时候是不是跟想象的一样，需要对正常情况下的数据做预估的重新评估，看看是不是符合预期。两次预热，一次是摇了 3.1 亿次，峰值 5000 万一分钟，100 万每秒，跟我们估算的一千万每秒差很远，当时只是针对 iPhone 用户，放开一个小红点，你看到的时候可以抢，发放红包 5 万每秒，春晚当晚也是五万每秒。后面又发了一次，针对前面几个问题再做一次。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;color: black;font-size: 22px;margin-top: 20px;margin-right: 10px;">V1.0 正式版</h2> 做完这两次连接后面就迎接 2 月 18 号春晚的真正考验。这是 1.0 正式版，信心指数达到 80，我们认为 80% 是可以搞定的。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7517433751743375" src="/upload/ea140387d3d9389e9bfda2b071bbfa33.png" data-type="png" data-w="1434" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> <figcaption style="margin-top: 5px;text-align: center;color: rgb(136, 136, 136);font-size: 12px;"> img </figcaption> </figure> 剩下 20% 在哪里？有 10% 是在现场，现场不可能一帆风顺，有可能现场摇的很 High，但后面到处灭火，10% 是在现场处置的时候有比较好的预案和方案能够解决，另外 10% 是人算不如天算，一个很小的点出现问题导致被放大所有用户受影响也是有可能的，我们很难控制了。要做出完美无缺的基本不太可能，剩下 10% 就是留运气。 2 月 18 号跑出来的结果是这样的，当时摇了 110 亿次，峰值是 8.1 亿每分钟，1400 万每秒。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;border-radius: 16px;overflow: hidden;"> <img class="rich_pages wxw-img" data-ratio="0.7357440890125174" src="/upload/b5086b9bfb76fcfef25bf0a9696790da.png" data-type="png" data-w="1438" style="border-radius: 6px;display: block;margin: 20px auto;max-width: 95%;object-fit: contain;"> </figure> 我今天跟大家的分享到这里。谢谢大家。 </section> 我是悟空，期待与你一起打怪升级变强！ </section> <section class="mp_profile_iframe_wrp"> <mpprofile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="MzU3NzU5NTg5Mg==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/GfOyjHGwCoN5Ky9IZgsdyZgM3lbEC5Ixe3ZgxBu5MdzvjWFyC7uqrsffcyhtrD8r8t0qicxbGmNxKYr4l4mANKQ/0?wx_fmt=png" data-nickname="面试突击" data-alias="PassJava1" data-signature="大厂面试突击，专注分享面试题，如计算机基础、计算机网络、Java后端、前端Vue。" data-from="0"></mpprofile> </section>

文章列表