Java学习者

作者：微信小助手

Trino是一个分布式SQL查询引擎，设计用来查询大规模的数据集存储在Hadoop、SQL和NoSQL数据库、对象存储等多种数据源中。它支持跨多个数据源的联合查询，对数据的位置透明，使得用户可以在一个系统中分析所有的数据。Trino的设计目标是提供快速（即时）的分析查询，它使用了许多优化技术来实现高查询性能。 <section style="line-height: 1.6em;text-align: justify;margin: 0px 0px 24px;text-indent: 0em;"> Trino官网：https://trino.io/ </section> <section style="line-height: 1.6em;text-align: justify;margin: 0px 0px 24px;text-indent: 0em;"> <img class="rich_pages wxw-img" data-galleryid="" data-imgfileid="100004064" data-ratio="0.5054151624548736" data-s="300,640" src="/upload/95f71423f5664c3e46abb25435be8150.png" data-type="png" data-w="554" style="text-align: center;font-size: var(--articleFontsize);letter-spacing: 0.034em;"> </section> Trino目前支持的数据源包括Accumulo、Atop、BigQuery、Black Hole、Cassandra、ClickHouse、Delta Lake、Druid、Elasticsearch、Google Sheets、Hive、Hudi、Iceberg、Ignite、JMX、Kafka、Kinesis、Kudu、Local File、MariaDB、Memory、MongoDB、MySQL、OpenSearch、Oracle、Phoenix、Pinot、PostgreSQL、Prometheus、Redis、Redshift、SingleStore、SQL Server、System、Thrift、TPCDS、TPCH。 <o:p></o:p> 本文介绍trino安装及使用Trino进行联邦查询mysql和sqlserver中的数据。 <o:p></o:p> 1.Trino安装 <o:p></o:p> 1.1 设置java17 <o:p></o:p> Trino 400 需要 64 位版本的 Java 17，最低版本要求为 17.0.3。早期的主要版本（例如 Java 8 或 Java 11）不起作用。 <o:p></o:p> 如果你安装的是java8，可以使用以下方式同时安装java17+ <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="sql"><code>update-alternatives --install /usr/bin/java java /opt/software/jdk-18/bin/java 1</code></pre> </section> 其中 /opt/software/jdk-18 是jdk-18的安装目录 需要切换到jdk-18可以使用update-alternatives --config java 命令进行切换，选择对用的jdk版本就可以 <img class="rich_pages wxw-img" data-backh="37" data-backw="503" data-galleryid="" data-imgfileid="100004066" data-ratio="0.073558648111332" data-s="300,640" src="/upload/9ad4423aa3805a0497930290b8f53b08.png" data-type="png" data-w="503" style="width: 100%;height: auto;"> 1.2 安装python2.6+ <o:p></o:p> 这里建议使用anaconda安装 <o:p></o:p> <a href="https://mp.weixin.qq.com/s?__biz=Mzg5Mzg3MzkwNA==&mid=2247484316&idx=1&sn=dd571faa66971d97f999b7d9b0dfb288&scene=21#wechat_redirect" style="font-family: Calibri;color: rgb(0, 0, 255);text-decoration: underline;font-size: 14px;" data-linktype="2">https://mp.weixin.qq.com/s/PWaPQhftDnd64mHn-W3X9Q</a> <o:p></o:p> <a href="https://mp.weixin.qq.com/s?__biz=Mzg5Mzg3MzkwNA==&mid=2247484344&idx=1&sn=b88558dc8646cd7dc293eb5a76faa665&scene=21#wechat_redirect" style="font-family: Calibri;color: rgb(0, 0, 255);text-decoration: underline;font-size: 14px;" data-linktype="2">https://mp.weixin.qq.com/s/FC1QyWvzpWNUwAS7QS62RQ</a> <o:p></o:p> 1.3 下载Trino <o:p></o:p> 下载地址：https://repo.maven.apache.org/maven2/io/trino/trino-server/ <o:p></o:p> <img class="rich_pages wxw-img" data-backh="275" data-backw="515" data-galleryid="" data-imgfileid="100004067" data-ratio="0.5339805825242718" data-s="300,640" src="/upload/7210eadeef95f8b80f72d3314de55be4.png" data-type="png" data-w="515" style="width: 100%;height: auto;"> 1.4 解压Trino <o:p></o:p> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="nginx"><code>tar -zxvf trino-server-392.tar.gz -C /opt/software</code></pre> </section> <img class="rich_pages wxw-img" data-backh="164" data-backw="518" data-galleryid="" data-imgfileid="100004068" data-ratio="0.3166023166023166" data-s="300,640" src="/upload/0ead3c56555b5372412ee7185802a919.png" data-type="png" data-w="518" style="width: 100%;height: auto;"> 1.5 配置 Trino <o:p></o:p> 在安装目录中创建一个etc目录，我们会在该目录中配置以下： <o:p></o:p> trino节点配置：配置每个trino节点的环境。 <o:p></o:p> JVM配置：配置JVM的相关参数。 <o:p></o:p> Config属性：配置trino服务器。 <o:p></o:p> Catalog属性：配置trino的connector（数据源） <o:p></o:p> <img class="rich_pages wxw-img" data-backh="249" data-backw="466" data-galleryid="" data-imgfileid="100004069" data-ratio="0.5343347639484979" data-s="300,640" src="/upload/8c438110bbe8acec30cd9d12b8b22dd9.png" data-type="png" data-w="466" style="width: 100%;height: auto;"> 1.5.1 创建配置目录 <o:p></o:p> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="nginx"><code>mkdir /opt/software/trino-server-392/etc</code></pre> </section> <img class="rich_pages wxw-img" data-backh="250" data-backw="469" data-galleryid="" data-imgfileid="100004070" data-ratio="0.5330490405117271" data-s="300,640" src="/upload/7f73f65b7ef27ab55dd1101f2eea35ac.png" data-type="png" data-w="469" style="width: 100%;height: auto;"> 1.5.2 配置节点属性 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="ruby"><code>vi etc/node.properties</code><code># 环境的名字。集群中所有的Trino节点必须具有相同的环境名称。</code><code>node.environment=test</code><code># 此Trino安装的唯一标识符。这对于每个节点都必须是唯一的。</code><code>node.id=ffffffff-ffff-ffff-ffff-ffffffffffff</code><code># 数据目录的位置(文件系统路径)。Trino在这里存储日志和其他数据。</code><code>node.data-dir=/opt/software/trino/data</code></pre> </section> <img class="rich_pages wxw-img" data-backh="41" data-backw="472" data-galleryid="" data-imgfileid="100004071" data-ratio="0.08686440677966102" data-s="300,640" src="/upload/a55a792e391ac20fb167944b6d997d05.png" data-type="png" data-w="472" style="width: 100%;height: auto;"> 1.5.3 JVM配置 <o:p></o:p> 每个节点可以配置不同的容量,根据服务器实际性能进行修改 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="diff"><code>vi etc/jvm.config</code><code>-server</code><code>-Xmx16G</code><code>-XX:InitialRAMPercentage=80</code><code>-XX:MaxRAMPercentage=80</code><code>-XX:G1HeapRegionSize=32M</code><code>-XX:+ExplicitGCInvokesConcurrent</code><code>-XX:+ExitOnOutOfMemoryError</code><code>-XX:+HeapDumpOnOutOfMemoryError</code><code>-XX:-OmitStackTraceInFastThrow</code><code>-XX:ReservedCodeCacheSize=512M</code><code>-XX:PerMethodRecompilationCutoff=10000</code><code>-XX:PerBytecodeRecompilationCutoff=10000</code><code>-Djdk.attach.allowAttachSelf=true</code><code>-Djdk.nio.maxCachedBufferSize=2000000</code><code>-XX:+UnlockDiagnosticVMOptions</code><code>-XX:+UseAESCTRIntrinsics</code><code># Disable Preventive GC for performance reasons (JDK-8293861)</code><code>-XX:-G1UsePreventiveGC</code></pre> </section> <img class="rich_pages wxw-img" data-backh="131" data-backw="504" data-galleryid="" data-imgfileid="100004072" data-ratio="0.25992063492063494" data-s="300,640" src="/upload/055d834fcd884fd3b44160edb78d8815.png" data-type="png" data-w="504" style="width: 100%;height: auto;"> 1.5.4 配置Trino服务器 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="php"><code>vi etc/config.properties</code><code>#如果您要设置一台机器进行测试，它既充当协调器又充当工作人员，请使用以下配置：</code><code>coordinator=true</code><code>node-scheduler.include-coordinator=true</code><code>http-server.http.port=8080</code><code>discovery.uri=http://192.168.31.128:8080</code></pre> </section> <img class="rich_pages wxw-img" data-backh="57" data-backw="504" data-galleryid="" data-imgfileid="100004073" data-ratio="0.1130952380952381" data-s="300,640" src="/upload/b1e53c5715b25c3f7d9da35f5a790c36.png" data-type="png" data-w="504" style="width: 100%;height: auto;"> 1.5.5 配置日志级别 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="cpp"><code>设置日志级别，有四个级别：DEBUG, INFO, WARN and ERROR</code><code>vi etc/log.properties</code><code>io.trino=INFO</code></pre> </section> 1.5.6 配置trino catalog <o:p></o:p> Trino访问数据通过connector,它配置在catalog目录内，我们创建etc/catalog目录 <o:p></o:p> mysql源配置如下，我们在catalog目录下创建mysql.properties <o:p></o:p> sqlserver源配置如下，我们在catalog目录下创建sqlserver.properties <o:p></o:p> 不同的数据源参考这里https://trino.io/docs/current/connector.html <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="bash"><code>mkdir etc/catalog</code><code>vi etc/catalog/mysql.properties</code><code>connector.name=mysql</code><code>connection-url=jdbc:mysql://192.168.154.128:3306?useUnicode=true&useSSL=false&characterEncoding=UTF-8&serverTimezone=UTC</code><code>connection-user=root</code><code>connection-password=Admin@123</code></pre> </section> <img class="rich_pages wxw-img" data-backh="53" data-backw="553" data-galleryid="" data-imgfileid="100004074" data-ratio="0.09584086799276673" data-s="300,640" src="/upload/6ec8acf36e4ad56e05bd68dc3bbdb46d.png" data-type="png" data-w="553" style="width: 100%;height: auto;"> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="javascript"><code>vi etc/catalog/sqlserver.properties</code><code>connector.name=sqlserver</code><code>connection-url=jdbc:sqlserver://192.168.154.128:1433;databaseName=exampledb;encrypt=false</code><code>connection-user=sa</code><code>connection-password=Wuzongyun0!</code></pre> </section> 2 Trino启动命令 <o:p></o:p> 启动/关闭/查看运行状态 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="sql"><code>bin/launcher start</code><code>bin/launcher stop</code><code>bin/launcher status</code><code>访问trino web页面</code></pre> </section> http://192.168.154.128:8080/ <o:p></o:p> <img class="rich_pages wxw-img" data-backh="259" data-backw="514" data-galleryid="" data-imgfileid="100004075" data-ratio="0.5038910505836576" data-s="300,640" src="/upload/6ace6aa56b295456c6a7822d1123fd93.png" data-type="png" data-w="514" style="width: 100%;height: auto;"> 名称自定义，第一次输入什么，以后就用什么用户登录 <img class="rich_pages wxw-img" data-backh="259" data-backw="512" data-galleryid="" data-imgfileid="100004076" data-ratio="0.505859375" data-s="300,640" src="/upload/7f7545af15be5e0e48b6bffb727f67c8.png" data-type="png" data-w="512" style="width: 100%;height: auto;"> 3 安装Trino客户端 <o:p></o:p> 3.1 安装trino客户端 <o:p></o:p> 下载地址https://repo1.maven.org/maven2/io/trino/trino-cli/392/trino-cli-392-executable.jar <o:p></o:p> 将其重命名为trino，使用使其可执行，然后运行它以显示 <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="properties"><code>mv trino-cli-392-executable.jar trino-cli</code><code>chmod +x trino-cli</code></pre> </section> <img class="rich_pages wxw-img" data-backh="253" data-backw="473" data-galleryid="" data-imgfileid="100004077" data-ratio="0.5348837209302325" data-s="300,640" src="/upload/af554731edf48279a63ba8aa7feef13a.png" data-type="png" data-w="473" style="width: 100%;height: auto;"> 3.1 启动trino客户端 <o:p></o:p> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="sql"><code>./trino-cli --server 192.168.154.128:8080</code></pre> </section> <img class="rich_pages wxw-img" data-backh="89" data-backw="476" data-galleryid="" data-imgfileid="100004078" data-ratio="0.1869747899159664" data-s="300,640" src="/upload/2b578be98c666492e1b5cac980ddfbda.png" data-type="png" data-w="476" style="width: 100%;height: auto;"> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="sql"><code>#常用命令</code><code>#显示所有的catalog</code><code>show catalogs;</code></pre> </section> <img class="rich_pages wxw-img" data-backh="109" data-backw="553" data-galleryid="" data-imgfileid="100004079" data-ratio="0.19710669077757687" data-s="300,640" src="/upload/1f655777d9e746a4e08edf879cb30755.png" data-type="png" data-w="553" style="width: 100%;height: auto;"> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="sql"><code>#查看所有的schemas</code><code>show schemas from mysql;</code></pre> </section> <img class="rich_pages wxw-img" data-backh="178" data-backw="553" data-galleryid="" data-imgfileid="100004080" data-ratio="0.321880650994575" data-s="300,640" src="/upload/5591248d2a27ba48174eedc641b31dd2.png" data-type="png" data-w="553" style="width: 100%;height: auto;"> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="apache"><code>#退出客户端</code><code>quit;</code></pre> </section> 4 使用dbeaver操作trino <o:p></o:p> 为了可以更方便的使用trino，可以使用dbeaver链接trino进行数据处理 <o:p></o:p> 4.1 下载 jdbc驱动 <o:p></o:p> 下载地址https://repo.maven.apache.org/maven2/io/trino/trino-jdbc/trino-jdbc-392.jar <o:p></o:p> 4.2 dbeaver 安装 trino驱动（如果dbeaver没有trino驱动） <o:p></o:p> 数据库->驱动管理器->新建 <o:p></o:p> <img class="rich_pages wxw-img" data-galleryid="" data-imgfileid="100004082" data-ratio="0.5333333333333333" data-s="300,640" src="/upload/0944d22b19d3a3c24f9bfcc9e2b38888.png" data-type="png" data-w="1080" style=""> 编辑信息：驱动名称、驱动类型、类名、URL模板、端口 <o:p></o:p> 添加文件：选择到下载下来的jar包 <o:p></o:p> 找到类：选择驱动类 <o:p></o:p> <img class="rich_pages wxw-img" data-galleryid="" data-imgfileid="100004083" data-ratio="0.5185185185185185" data-s="300,640" src="/upload/d35d1eda643e68b5a91298ebf366af92.png" data-type="png" data-w="1080" style=""> 4.3 dbeaver链接trino <o:p></o:p> 填写jdbc-url、主机、端口、用户名 <o:p></o:p> <img class="rich_pages wxw-img" data-galleryid="" data-imgfileid="100004084" data-ratio="0.5351851851851852" data-s="300,640" src="/upload/6fabd340e42fddff43bf4afe9077e267.png" data-type="png" data-w="1080" style=""> 4.4 查询数据 <o:p></o:p> 关联mysql中的数据和sqlserver中的数据进行联邦查询 <o:p></o:p> <section class="code-snippet__fix code-snippet__js"> <ul class="code-snippet__line-index code-snippet__js"> </ul> <pre class="code-snippet__js" data-lang="sql"><code>select * from mysql.x2ddl.x2ddl datamapping a inner join sqlserver.cdc.captured columns b on a.id = b.object id ;</code></pre> </section> <img class="rich_pages wxw-img" data-galleryid="" data-imgfileid="100004085" data-ratio="0.5361111111111111" data-s="300,640" src="/upload/33b7f825b3a69607eacaa4d4caf70c64.png" data-type="png" data-w="1080" style=""> 查看执行任务详情，进入网页端 <o:p></o:p> <img class="rich_pages wxw-img" data-backh="280" data-backw="554" data-galleryid="" data-imgfileid="100004086" data-ratio="0.5054151624548736" data-s="300,640" src="/upload/9598833219824420115e25ff4be646e2.png" data-type="png" data-w="554" style="width: 100%;height: auto;"> 点击任务ID <o:p></o:p> <img class="rich_pages wxw-img" data-backh="280" data-backw="554" data-galleryid="" data-imgfileid="100004087" data-ratio="0.5054151624548736" data-s="300,640" src="/upload/5abe5b8adad109af2796117ec5694cb7.png" data-type="png" data-w="554" style="width: 100%;height: auto;"> <img class="rich_pages wxw-img" data-backh="280" data-backw="554" data-galleryid="" data-imgfileid="100004088" data-ratio="0.5054151624548736" data-s="300,640" src="/upload/97537a9c4159501194701f32b3f5f001.png" data-type="png" data-w="554" style="width: 100%;height: auto;"> <section class="mp_profile_iframe_wrp"> <mp-common-profile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-id="Mzg5Mzg3MzkwNA==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/mZpqbZwlCSQ3SvW4umad8CibQ6YxFaicraoibJL4I9bxNVEkpsFcxcs4bibe1cJXiax5R2SLRblxmBea1L7meZbKnug/0?wx_fmt=png" data-nickname="大数据技能圈" data-alias="ByteTeach" data-signature="包含30+大数据组件；内容包含基础学习、项目实战、面试面经、源码解析、测试数据等；在同一个项目中完成所有组件的学习，保证学习的连贯性，助你快速成长为合格的大数据开发工程师" data-from="0" data-is_biz_ban="0"></mp-common-profile> </section> <mp-style-type data-value="3"></mp-style-type>

Go：简单的优化笔记

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding: 0px 10px;line-height: 1.6;word-spacing: 0px;letter-spacing: 0px;word-break: break-word;overflow-wrap: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;margin-bottom: 24px;"> 在云计算时代，我们经常创建 Serverless 应用（一种云原生开发模式，允许开发人员构建和运行应用程序，而无需管理服务器）。当我们的项目采用这种模式，那基础设施维护预算将排在首位。如果我们的服务负载很低，它实际上近乎是免费的。但是如果出现问题，你将为此付出很多！当谈到金钱时，你肯定会以某方式对它做出反应。 当你的 VPS 运行着多个服务应用，但其中一个有时会占用所有的资源，以至于都无法通过 ssh 访问服务器。你转到使用 Kubernetes 集群，为所有应用程序设置限制。随后看到一些应用程序被重新启动，因为 OOM-killer 解决了内存”泄漏“问题。 当然， OOM 并不总是泄漏问题，也可能是资源超支。泄漏问题大概率是由程序错误引起的，我们今天谈论的主题是如何尽量避免这种情况。 过多的资源消耗会伤害钱包，这意味着我们需要立即采取行动。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 22px;border-bottom: 4px rgba(160, 249, 176) solid;display: flex;padding: 0;">不要过早优化</h2> 现在让我们谈谈优化。希望你能明白为什么我们不要过早优化！ <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 第一，优化可能是无用的工作。因为我们应该先研究整个应用程序，而你的代码很可能不会成为瓶颈。我们需要的是快速的结果，MVP（Minimum Viable Product，最简可行产品），然后才会考虑它的问题。 </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 第二，优化都必须有所依据。也就是说，每次优化都应该建立在基准上，我们必须证明它给我们带来了多少利润。 </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 第三，优化也许会带来复杂。你需要知道的是，大多数优化会使代码的可读性变差。你需要把握好这种平衡。 </section></li> </ul> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 22px;border-bottom: 4px rgba(160, 249, 176) solid;display: flex;padding: 0;">优化建议</h2> 现在我们按照 Go 中的标准实体分类，来给出一些实用建议。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 18px;">1. 数组与切片</h4> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">提前为切片分配内存</h6> 尽量使用第三个参数：<code style="font-size: 14px;word-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin: 0 2px;background-color: rgba(27,31,35,.05);font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;word-break: break-all;color: #000000;background: rgba(14, 210, 247, 0.15);">make([]T, 0, len)</code> 如果不知道元素确切的数量并且切片是短暂的，可以分配更大一点，保障切片在运行时不会增长。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">不要忘记使用 copy</h6> 尽量不要在复制时使用 append，例如在合并两个或多个切片时。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">正确迭代</h6> 一个包含许多元素或大元素的切片，使用 for 去获取单个元素。通过这种方法，将避免不必要的复制。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">复用切片</h6> 如果对传入的切片进行某种操作并返回已经修改的结果，我们可以返回它。这样能避免新的内存分配。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">不要留下不使用的切片部分</h6> 如果需要从切片中切下一小块并仅使用它，该切片的主要部分也将被保留。正确的做法是，为这小块切片使用新的副本，而将旧的切片扔给 GC。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 18px;">2. 字符串</h4> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">正确拼接</h6> 如果拼接字符串可以在一个语句中完成，那就使用 <code style="font-size: 14px;word-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin: 0 2px;background-color: rgba(27,31,35,.05);font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;word-break: break-all;color: #000000;background: rgba(14, 210, 247, 0.15);">+</code> 操作符。如果需要在循环中执行此操作，使用 <code style="font-size: 14px;word-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin: 0 2px;background-color: rgba(27,31,35,.05);font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;word-break: break-all;color: #000000;background: rgba(14, 210, 247, 0.15);">string.Builder</code>，并使用它的 <code style="font-size: 14px;word-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin: 0 2px;background-color: rgba(27,31,35,.05);font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;word-break: break-all;color: #000000;background: rgba(14, 210, 247, 0.15);">Grow</code> 方法预先指定 <code style="font-size: 14px;word-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin: 0 2px;background-color: rgba(27,31,35,.05);font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;word-break: break-all;color: #000000;background: rgba(14, 210, 247, 0.15);">Builder</code> 的大小，减少内存分配次数。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">转换优化</h6> string 和 []byte 在底层结构上非常相近，有时这两种类型之间可以通过强转换来避免内存分配。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">字符串驻留</h6> 可以池化字符串，从而帮助编译器只存储一次相同的字符串。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">避免分配</h6> 我们可以使用 map（级联）而不是复合键，我们可以使用字节切片。尽量不使用 <code style="font-size: 14px;word-wrap: break-word;padding: 2px 4px;border-radius: 4px;margin: 0 2px;background-color: rgba(27,31,35,.05);font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;word-break: break-all;color: #000000;background: rgba(14, 210, 247, 0.15);">fmt</code> 包，因为它所有的方法都用到了反射。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 18px;">3. 结构体</h4> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">避免拷贝大结构体</h6> 我们理解的小结构体是不超过4个字段不超过一个机器字大小。 一些典型的拷贝场景 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 投射到 interface </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 通道的接收和发送 </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 替换 map 中的元素 </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 向切片添加元素 </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 迭代（range） </section></li> </ul> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">避免通过指针访问结构体字段</h6> 解引用是昂贵的，我们应该尽可能少地这样做，尤其是在循环中。同时它也失去了使用快速寄存器的能力。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">处理小结构体</h6> 这项工作由编辑器进行优化，这意味着它很便宜。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">使用对齐减小结构体大小</h6> 我们可以对齐结构体（根据字段的大小，以正确的顺序排列它们），以此减小结构体本身的大小。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 18px;">4. 函数</h4> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">使用内联函数或自己内联它们</h6> 尝试编写可供编译器内联的小函数，它会很快，甚至快过自己在函数中嵌入代码。对于热路径（hot path）尤其如此。 哪些不会内联 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;color: black;list-style-type: disc;" class="list-paddingleft-1"> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> recovery </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> select 块 </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> 类型声明 </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> defer </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> goroutine </section></li> <li style="font-size: 15px;"> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;text-align: left;color: rgb(1,1,1);font-weight: 500;"> for-range </section></li> </ul> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">合理地选择函数参数</h6> 尝试使用小参数，因为它们的复制将被优化。尝试复制和栈增长在GC负载保持平衡。避免大量参数，让你的程序使用快速寄存器（它们的数量是有限的）。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">命名返回值</h6> 这似乎比在函数体中声明这些变量更高效。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">保存中间结果</h6> 帮助编译器优化你的代码，保存中间结果，然后会有更多的选项来优化你的代码。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">仔细地使用 defer</h6> 尽量不要使用 defer，或者至少不要在循环中使用它。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">助力 hot path</h6> 避免在热路径分配内存，尤其是短生命对象。制作最常见分支（if，switch） <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 18px;">5. Map</h4> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">提前分配内存</h6> 和 slice 一样，初始化 map 时，指定其大小。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">使用空结构体为值</h6> struct{} 什么都不是（不占内存），因此例如传递信号时，使用它是非常有益的。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">清空 map</h6> map 只能增长，不能缩小。我们需要重置 map 时，删除其所有元素是无济于事的。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">尽量不在键和值中使用指针</h6> 如果 map 中不包含指针，那么 GC 就不会在上面浪费宝贵的时间。字符串也使用了指针，因此应该使用字节数组而不是字符串作为键。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">减少修改次数</h6> 同样，我们不想使用指针，但我们可以使用  map 和 slice 的组合，将键存储在 map 中，将值存在 slice。这样我们就可以不受限制地更改值。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 18px;">6. Interface</h4> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">计算内存分配</h6> 请记住，要为接口分配值时，首先需要将其复制到某处，然后将指针黏贴给它。关键是复制。事实证明，接口的装箱和拆箱的成本将近似于结构体大小的一次分配。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">选择最优类型</h6> 在某些情况下，接口的装箱和拆箱期间没有分配。例如，变量和常量的小值或布尔值、具有一个简单字段的结构体、指针（包括 map、channel、func） <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">避免内存分配</h6> 与其他地方一样，尽量避免不必要的分配。例如将一个接口分配给另一个接口，而不是装箱两次。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">仅在需要时使用</h6> 避免在频繁调用的函数参数和返回结果中使用接口。我们不需要额外的拆装包操作。减少使用接口方法调用的频率，因为它会阻止内联。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 18px;">7. 指针、通道、边界检查</h4> <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">避免不必要的解引用</h6> 尤其是在循环中，因为事实证明它太昂贵了。解引用是我们不想自费执行的操作。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">使用通道效率低下</h6> channel 同步比其他同步原语方法慢。另外， select 中的 case 越多，我们的程序就越慢。但是，select，case 加 default 有被优化。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">避免不必要的边界检查</h6> 这也很昂贵，我们应该避免它。例如，只检查（获取）一次最大切片索引，而不是多次。最好立即尝试获得极端选项。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;color: black;font-size: 22px;border-bottom: 4px rgba(160, 249, 176) solid;display: flex;padding: 0;">总结</h2> 在整篇文章中，我们看到了一些相同的优化规则。 帮助编译器做出正确的决定，它会感谢你的。在编译时分配内存，使用中间结果，并尽量保持你的代码可读。 我再次重申，对于隐式优化，基准是强制性的。如果因为编译器在不同版本之间变化太快，昨天工作的东西明天就不能工作，反之亦然。 不要忘记使用 Go 内置的分析和跟踪工具。 <h6 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;padding: 0px;font-weight: bold;color: black;font-size: 16px;">译者有话说</h6> 注意，作者的建议并不一定是对的。就像原文中有人评价，为什么不在每条建议下面列出优化代码。因为作者更希望开发人员把这些建议当做一张备忘单，知道这些瓶颈并主动去寻找如何做优化。 </section>

代码越写越乱？那是因为你没用责任链

作者：微信小助手

目录 <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 什么是责任链 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 使用场景 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 结语 </section></li> </ul> <section mpa-from-tpl="t"> <section data-mpa-category="模板" data-mid="" mpa-from-tpl="t"> <section data-mid="" mpa-from-tpl="t"> <section data-mid="" mpa-from-tpl="t"> </section> </section> </section> </section> <section data-mpa-template="t" mpa-from-tpl="t"> <section mpa-from-tpl="t"> <section style="width:100%;text-align:center;" data-width="100%" mpa-from-tpl="t"> <section style="display:inline-block;width:auto;" mpa-from-tpl="t"> <section style="width: 45px;margin-right: auto;margin-bottom: -12px;margin-left: auto;background-color: #fefefe;transform: translateZ(10px);-webkit-transform: translateZ(10px);-moz-transform: translateZ(10px);-ms-transform: translateZ(10px);-o-transform: translateZ(10px);" mpa-from-tpl="t"> <img class="rich_pages wxw-img" data-imgfileid="100126414" data-ratio="1" src="/upload/2f587a759a9336e658edf1970c0a8632.png" data-w="100" data-width="100%" style="display: block;width: 100%;"> </section> <section style="display:inline-block;width:auto;height:auto;" mpa-from-tpl="t"> <section style="border-width: 1px;border-style: solid;border-color: rgb(102, 102, 102);height: 40px;" mpa-from-tpl="t"> </section> <section style="margin-top:-37px;margin-right:-3px;margin-bottom:-3px;margin-left:3px;" mpa-from-tpl="t"> <section style="display: inline-block;height: 40px;line-height: 40px;padding-right: 15px;padding-left: 15px;border-width: 1px;border-style: solid;border-color: rgb(255, 116, 128);width: 100%;" data-width="100%" mpa-from-tpl="t"> 前言 </section> </section> </section> </section> </section> </section> </section> 最近，我让团队内一位成员写了一个导入功能。他使用了责任链模式，代码堆的非常多，bug 也多，没有达到我预期的效果。 实际上，针对导入功能，我认为模版方法更合适！为此，隔壁团队也拿出我们的案例，进行了集体 code review。 学好设计模式，且不要为了练习，强行使用！让原本 100 行就能实现的功能，写了 3000 行！对错暂且不论，我们先一起看看责任链设计模式吧！ <section data-mid="" mpa-from-tpl="t" style="margin-bottom: 0px;"> <section data-mpa-template="t" mpa-from-tpl="t"> <section data-mpa-category="模板" style="width: 100%;padding: 0 15px;" data-mid="" mpa-from-tpl="t"> <section style="width: 100%;padding: 15px 17px 20px;background: #ebf4ff;font-size: 14px;font-weight: 400;color: #6273aa;line-height: 20px;" data-mid="" mpa-from-tpl="t"> 文章来源：https://blog.csdn.net/q1472750149/article/details/121886327 </section> <section style="width: 100%;display: flex;justify-content: flex-end;align-items: flex-start;padding-right: 5px;" data-mid="" mpa-from-tpl="t"> <section data-mid="" mpa-from-tpl="t" style="width: 23px;height: 27px;background: url("https://mmbiz.qpic.cn/mmbiz_png/dLHvdVqeWINyJQzMVmQzxIcFqDsaiaK6ATCCANPe11FbZKCApfz0TbDtfc5gfSQNgJpic86YejM6qcNU5gubeetQ/640") no-repeat;background-size: contain;background-position: center center;margin-top: -27px;z-index: 10;"> </section> </section> <section style="width: 100%;display: flex;justify-content: flex-start;align-items: flex-start;" data-mid="" mpa-from-tpl="t"> <section style="width: 52.3%;height: 8px;background: #6273AA;margin-top: -6px;" data-mid="" mpa-from-tpl="t"> </section> <section style="width: 10px;height: 8px;background: #6273AA;transform: skew(35deg);margin-left: -5px;margin-top: -6px;" data-mid="" mpa-from-tpl="t"> </section> </section> <section style="width: 100%;display: flex;justify-content: flex-end;align-items: flex-start;" data-mid="" mpa-from-tpl="t"> <section style="width: 10px;height: 3px;background: #6273AA;transform: skew(35deg);margin-right: -5px;margin-top: -3px;" data-mid="" mpa-from-tpl="t"> </section> <section style="width: 42.2%;height: 3px;background: #6273AA;margin-top: -3px;" data-mid="" mpa-from-tpl="t"> </section> </section> </section> </section> </section> <section data-mid="" mpa-from-tpl="t" style="margin-bottom: 0px;"> <section data-mid="" mpa-from-tpl="t"> <br style="color: rgb(0, 0, 0);font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;font-size: 16px;letter-spacing: normal;text-align: left;text-wrap: wrap;"> </section> </section> <h2 data-tool="mdnice编辑器"> </h2> <section data-mpa-template="t" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 25.6px;box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;color: rgb(68, 153, 231);" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;text-align: center;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto -38px;padding: 0px 15px;max-width: 100%;display: inline-block;background-color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <p style="margin-top: 5px;margin-bottom: 5px;max-width: 100%;clear: both;min-height: 1em;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;">什么是责任链 </section> <section style="margin: -40px 25px 50px;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 3px 0px 0px;padding: 10px 0px;max-width: 100%;box-sizing: border-box;display: inline-block;width: 495px;color: rgb(68, 153, 231);float: left;border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 1em 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);clear: both;color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px 0px -3px;padding: 0px;max-width: 100%;float: right;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: 0px 0px -2px;padding: 0px;max-width: 100%;text-align: left;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: -20px 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;text-decoration: inherit;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-top: 1px solid rgb(68, 153, 231);width: 495px;float: left;border-right-color: rgb(68, 153, 231);border-bottom-color: rgb(68, 153, 231);border-left-color: rgb(68, 153, 231);color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> </section> </section> </section> </section> </section> </section> </blockquote> </section> </section> </blockquote> </section> 责任链模式是一种行为设计模式，允许你将请求沿着处理者链进行发送。收到请求后，每个处理者均可对请求进行处理，或将其传递给链上的下个处理者。 <img class="rich_pages wxw-img" data-galleryid="" data-imgfileid="100126415" data-ratio="0.2884333821376281" data-s="300,640" src="/upload/f76f6798384481d7850d3a3586a2b55a.png" data-type="png" data-w="683" style=""> <h2 data-tool="mdnice编辑器"> </h2> <section data-mpa-template="t" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 25.6px;box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;color: rgb(68, 153, 231);" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;text-align: center;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto -38px;padding: 0px 15px;max-width: 100%;display: inline-block;background-color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <p style="margin-top: 5px;margin-bottom: 5px;max-width: 100%;clear: both;min-height: 1em;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;">使用场景 </section> <section style="margin: -40px 25px 50px;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 3px 0px 0px;padding: 10px 0px;max-width: 100%;box-sizing: border-box;display: inline-block;width: 495px;color: rgb(68, 153, 231);float: left;border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 1em 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);clear: both;color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px 0px -3px;padding: 0px;max-width: 100%;float: right;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: 0px 0px -2px;padding: 0px;max-width: 100%;text-align: left;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: -20px 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;text-decoration: inherit;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-top: 1px solid rgb(68, 153, 231);width: 495px;float: left;border-right-color: rgb(68, 153, 231);border-bottom-color: rgb(68, 153, 231);border-left-color: rgb(68, 153, 231);color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> </section> </section> </section> </section> </section> </section> </blockquote> </section> </section> </blockquote> </section> 责任链的使用场景还是比较多的： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 多条件流程判断：权限控制 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> ERP 系统流程审批：总经理、人事经理、项目经理 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);fon

一次线上JVM GC 长暂停排查，加班搞了好久

作者：微信小助手

<section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;" data-mpa-powered-by="yiban.io"> <section class="mp_profile_iframe_wrp"> <mp-common-profile class="custom_select_card mp_profile_iframe mp_common_widget" data-pluginname="mpprofile" data-id="MzAwMTk4NjM1MA==" data-headimg="http://mmbiz.qpic.cn/mmbiz_png/PxMzT0Oibf4gcBzLSUNh2cgXUsuLIsvQYJE1lzZd74qpC3iciaM6gcYIfOVV0KjDDkeN4CTLTn4ETPtaHOAuTWSWA/0?wx_fmt=png" data-nickname="JAVA日知录" data-alias="javadaily" data-signature="写代码的架构师，做架构的程序员！实战、源码、数据库、架构...只要你来，你想了解的这里都有！" data-from="0"></mp-common-profile> </section> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">背景 </h2> 在高并发下，Java程序的GC问题属于很典型的一类问题，带来的影响往往会被进一步放大。不管是「GC频率过快」还是「GC耗时太长」，由于GC期间都存在Stop The World问题，因此很容易导致服务超时，引发性能问题。 事情最初是线上某应用垃圾收集出现Full GC异常的现象，应用中个别实例Full GC时间特别长，持续时间约为15~30秒，平均每2周左右触发一次； <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035934" data-ratio="0.4083333333333333" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/cefc89ecf33644c16e68925421cdc4e6.png"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035933" data-ratio="0.4597222222222222" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/f107c99f17c44e19df841693a6014855.png"> </figure> JVM参数配置： <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;border-left-color: rgb(239, 112, 96);background: rgb(255, 249, 249);"> -Xms2048M –Xmx2048M –Xmn1024M –XX:MaxPermSize=512M </blockquote> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035935" data-ratio="0.30416666666666664" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/49e1ab065d516199bc361e78576cc665.png"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">排查过程 </h2> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">分析 GC 日志</h3> GC 日志它记录了每一次的 GC 的执行时间和执行结果，通过分析 GC 日志可以调优堆设置和 GC 设置，或者改进应用程序的对象分配模式。 这里Full GC的reason是Ergonomics，是因为开启了UseAdaptiveSizePolicy，jvm自己进行自适应调整引发的Full GC。 这份日志主要体现GC前后的变化，目前为止看不出个所以然来。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035937" data-ratio="0.5125" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/60cb355ee072db47bb97d248adcf376a.png"> </figure> 开启GC日志，需要添加如下 JVM 启动参数： <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;border-left-color: rgb(239, 112, 96);background: rgb(255, 249, 249);"> -XX:+PrintGCDetails -XX:+PrintGCDateStamps -Xloggc:/export/log/risk_pillar/gc.log </blockquote> 常见的 Young GC、Full GC 日志含义如下： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035936" data-ratio="0.6194444444444445" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/d216a5617aa19528f7b963421f3e53c8.png"> </figure> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 20px;">进一步查看服务器性能指标</h3> 获取到了GC耗时的时间后，通过监控平台获取到各个监控项，开始排查这个时点有异常的指标，最终分析发现，在5.06分左右（GC的时点），CPU占用显著提升，而SWAP出现了释放资源、memory资源增长出现拐点的情况（详见下图红色框，橙色框中的变化是因修改配置导致，后面会介绍，暂且可忽略） <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035941" data-ratio="0.4777777777777778" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/4fa8efcf5ae8b77bc77bc55684784a74.png"> </figure> JVM用到了swap？ 是因为GC导致的CPU突然飙升，并且释放了swap交换区这部分内存到memory？ 为了验证JVM是否用到swap，我们通过检查proc下的进程内存资源占用情况 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/V0mhkIwf3EFGsyVp9XEqnn4iawLRHSs3AvCoIed6JIoHAOWD9z6rKxyUxWEpZuL0aTibiaqIyq7XiazJcIGZ56jUbl7Kssm4GJicT/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(248, 248, 248);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #333;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #f8f8f8;border-radius: 5px;">for i in (cd/proc;ls∣grep"[0−9]"∣awk′0 >100'); do awk '/Swap:/{a=a+2}END{print '"i"',a/1024"M"}' /proc/$i/smaps 2>/dev/null; done | sort -k2nr | head -10  # head -10 表示 取出 前10个内存占用高的进程  # 取出的第一列为进程的id 第二列进程占用swap大小 </code></pre> 看到确实有用到305MB的swap <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035938" data-ratio="0.3597222222222222" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/46291ea27e8eba5c8b83b61aef056938.png"> </figure> 这里简单介绍下什么是swap? swap指的是一个交换分区或文件，主要是在内存使用存在压力时，触发内存回收，这时可能会将部分内存的数据交换到swap空间，以便让系统不会因为内存不够用而导致oom或者更致命的情况出现。 当某进程向OS请求内存发现不足时，OS会把内存中暂时不用的数据交换出去，放在swap分区中，这个过程称为swap out。 当某进程又需要这些数据且OS发现还有空闲物理内存时，又会把swap分区中的数据交换回物理内存中，这个过程称为swap in。 为了验证GC耗时与swap操作有必然关系，我抽查了十几台机器，重点关注耗时长的GC日志，通过时间点确认到GC耗时的时间点与swap操作的时间点确实是一致的。 进一步查看虚拟机各实例 swappiness 参数，一个普遍现象是，凡是发生较长Full GC的实例都配置了参数 vm.swappiness = 30（值越大表示越倾向于使用swap）；而GC时间相对正常的实例配置参数 vm.swappiness = 0（最大限度地降低使用swap）。 swappiness 可以设置为 0 到 100 之间的值，它是Linux的一个内核参数，控制系统在进行swap时，内存使用的相对权重。 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> swappiness=0: 表示最大限度使用物理内存，然后才是 swap空间 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> swappiness=100: 表示积极的使用swap分区，并且把内存上的数据及时的交换到swap空间里面 </section></li> </ul> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035939" data-ratio="0.3277777777777778" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/1d05d9145b6f8c1f461dd3ee609f7ab7.png"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035940" data-ratio="0.4625" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/69e077f94d105cfe31ee0abd3e3f33a6.png"> </figure> 对应的物理内存使用率和swap使用情况如下 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035942" data-ratio="0.13055555555555556" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/beec4051cf9a57b33d72fb436e2c2b3b.png"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035946" data-ratio="0.41388888888888886" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/5bb350e74fc88c280047f6d35bb85eec.png"> </figure> 至此，矛头似乎都指向了swap。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">问题分析 </h2> 当内存使用率达到水位线(vm.swappiness)时，linux会把一部分暂时不使用的内存数据放到磁盘swap去，以便腾出更多可用内存空间； 当需要使用位于swap区的数据时，再将其换回内存中，当JVM进行GC时，需要对相应堆分区的已用内存进行遍历； 假如GC的时候，有堆的一部分内容被交换到swap空间中，遍历到这部分的时候就需要将其交换回内存，由于需要访问磁盘，所以相比物理内存，它的速度肯定慢的令人发指，GC停顿的时间一定会非常非常恐怖； 进而导致Linux对swap分区的回收滞后（内存到磁盘换入换出操作十分占用CPU与系统IO），在高并发/QPS服务中，这种滞后带来的结果是致命的(STW)。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">问题解决 </h2> 至此，答案似乎很清晰，我们只需尝试把swap关闭或释放掉，看看能否解决问题？ 如何释放swap? 设置vm.swappiness=0（重启应用释放swap后生效），表示尽可能不使用交换内存 方案 a：临时设置方案，重启后不生效 <ol data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 设置vm.swappiness为0，sysctl vm.swappiness=0 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 查看swappiness值，cat /proc/sys/vm/swappiness </section></li> </ol> 方案b：永久设置方案，重启后仍然生效 <ol data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> vi /etc/sysctl.conf </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 关闭交换分区swapoff –a(前提：首先要保证内存剩余要大于等于swap使用量，否则会报Cannot allocate memory！swap分区一旦释放，所有存放在swap分区的文件都会转存到物理内存上，可能会引发系统IO或者其他问题。) </section></li> </ol> 查看当前swap分区挂载在哪： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035943" data-ratio="0.07398843930635839" data-type="png" data-w="865" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/99250e74089179b08abefe523bbab1ff.png"> </figure> 关停分区： <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035944" data-ratio="0.12716763005780346" data-type="png" data-w="865" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/159c2d73c499b3b701963f201ff0af03.png"> </figure> 关闭swap交换区后的内存变化见下图橙色框，此时swap分区的文件都转存到了物理内存上 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035945" data-ratio="0.5347222222222222" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/5460d613b6aa463ee3526760bb464cbc.png"> </figure> 关闭Swap交换区后，于2.23再次发生Full GC，耗时190ms，问题得到解决。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035947" data-ratio="0.5069444444444444" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/118e14e6673587092936f8d4e350e4e2.png"> </figure> <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">疑惑 </h2> <ol data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 是不是只要开启了swap交换区的JVM，在GC的时候都会耗时较长呢？ </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 既然JVM对swap如此不待见，为何JVM不明令禁止使用呢？ </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> swap工作机制是怎样的？这台物理内存为8g的server，使用了交换区内存（swap），说明物理内存不够使用了，但是通过free命令查看内存使用情况，实际物理内存似乎并没有占用那么多，反而Swap已占近1G？ </section></li> </ol> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035948" data-ratio="0.13108614232209737" data-type="png" data-w="801" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/73915807ac03ea76905287e9b9dfc961.png"> </figure> free：除了buff/cache剩余了多少内存 shared：共享内存 buff/cache：缓冲、缓存区内存数（使用过高通常是程序频繁存取文件） available：真实剩余的可用内存数 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">进一步思考 </h2> 大家可以想想，关闭交换磁盘缓存意味着什么？ 其实大可不必如此激进，要知道这个世界永远不是非0即1的，大家都会或多或少选择走在中间，不过有些偏向0，有些偏向1而已。 很显然，在swap这个问题上，JVM可以选择偏向尽量少用，从而降低swap影响，要降低swap影响有必要弄清楚Linux内存回收是怎么工作的，这样才能不遗漏任何可能的疑点。 先来看看swap是如何触发的？ Linux会在两种场景下触发内存回收，一种是在内存分配时发现没有足够空闲内存时会立刻触发内存回收；另一种是开启了一个守护进程（kswapd进程）周期性对系统内存进行检查，在可用内存降低到特定阈值之后主动触发内存回收。 通过如下图示可以很容易理解，详细信息参见： <blockquote data-tool="mdnice编辑器" style="border-top: none;border-right: none;border-bottom: none;font-size: 0.9em;overflow: auto;color: rgb(106, 115, 125);padding: 10px 10px 10px 20px;margin-bottom: 20px;margin-top: 20px;border-left-color: rgb(239, 112, 96);background: rgb(255, 249, 249);"> http://hbasefly.com/2017/05/24/hbase-linux/ </blockquote> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035952" data-ratio="0.4638888888888889" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/cbb7062fc9306b3d0b5f7cad01cedf0c.png"> </figure> 是不是只要开启了swap交换区的JVM，在GC的时候都会耗时较长？ 笔者去查了一下另外的一个应用，相关指标信息请见下图。 实名服务的QPS是非常高的，同样能看到应用了swap，GC平均耗时 576ms，这是为什么呢？ <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035950" data-ratio="0.4486111111111111" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/e60a1e41efa538c4a13cdfc5bde0a031.png"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035951" data-ratio="0.5138888888888888" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/eae037c835b017a2405fd20ec4c42ce6.png"> </figure> 通过把时间范围聚焦到发生GC的某一时间段，从监控指标图可以看到swapUsed没有任何变化，也就是说没有swap活动，进而没有影响到垃级回收的总耗时。 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035949" data-ratio="0.41944444444444445" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/8d691e61decb205860edcbd778125da0.png"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035953" data-ratio="0.4722222222222222" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/63a1bee63a666cca01eb253246168f40.png"> </figure> 通过如下命令列举出各进程swap空间占用情况，很清楚的看到实名这个服务swap空间占用的较少（仅54.2MB） <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035956" data-ratio="0.5069444444444444" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/9d283b590923d17f3fc000def42fef1e.png"> </figure> 另一个显著的现象是实名服务Full GC间隔较短（几个小时一次），而我的服务平均间隔2周一次Full GC <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035954" data-ratio="0.5138888888888888" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/2ae8994c85e80628e5deca5bcb6a1371.png"> </figure> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035957" data-ratio="0.44583333333333336" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/ffd170d4c571552fbb4d66abc2fd909a.png"> </figure> 基于以上推测 <ol data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 实名服务由于 GC 间隔较短，内存中的东西根本没有机会置换到swap中就被回收了，GC的时候不需要将swap分区中的数据交换回物理内存中，完全基于内存计算，所以要快很多 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);"> 将哪些内存数据置换进swap交换区的筛选策略应该是类似于LRU算法（最近最少使用原则） </section></li> </ol> 为了证实上述猜测，我们只需跟踪swap变更日志，监控数据变化即可得到答案，这里采用一段shell 脚本实现 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/V0mhkIwf3EFGsyVp9XEqnn4iawLRHSs3AvCoIed6JIoHAOWD9z6rKxyUxWEpZuL0aTibiaqIyq7XiazJcIGZ56jUbl7Kssm4GJicT/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(248, 248, 248);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #333;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #f8f8f8;border-radius: 5px;">#!/bin/bash  echo -e `date +%y%m%d%H%M%S`  echo -e "PID\t\tSwap\t\tProc_Name"  #拿出/proc目录下所有以数字为名的目录（进程名是数字才是进程，其他如sys,net等存放的是其他信息）  for pid in `ls -l /proc | grep ^d | awk '{ print $9 }'| grep -v [^0-9]`  do      if [ $pid -eq 1 ];then continue;fi      grep -q "Swap" /proc/$pid/smaps 2>/dev/null      if [ $? -eq 0 ];then          swap=$(gawk '/Swap/{ sum+=$2;} END{ print sum }' /proc/$pid/smaps) #统计占用的swap分区的 大小 单位是KB          proc_name=$(ps aux | grep -w "$pid" | awk '!/grep/{ for(i=11;i<=NF;i++){ printf("%s ",$i); }}') #取出进程的名字          if [ $swap -gt 0 ];then #判断是否占用swap 只有占用才会输出              echo -e "${pid}\t${swap}\t${proc_name:0:100}"      fi     fi done | sort -k2nr | head -10 | gawk -F'\t' '{ #排序取前 10      pid[NR]=$1;      size[NR]=$2;      name[NR]=$3;  }  END{      for(id=1;id<=length(pid);id++)      {      if(size[id]<1024)          printf("%-10s\t%15sKB\t%s\n",pid[id],size[id],name[id]);      else if(size[id]<1048576)          printf("%-10s\t%15.2fMB\t%s\n",pid[id],size[id]/1024,name[id]);     else      printf("%-10s\t%15.2fGB\t%s\n",pid[id],size[id]/1048576,name[id]);      }  } </code></pre> 由于上面图中 2022.3.2 19:57:00 至 2022.3.2 19:58:00 发生了一次Full GC，我们重点关注下这一分钟内swap交换区的变化即可，我这里每10s做一次信息采集，可以看到在GC时点前后，swap确实没有变化 <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100035955" data-ratio="0.475" data-type="png" data-w="720" style="display: block;margin-right: auto;margin-left: auto;height: auto !important;" src="/upload/0ee27d1d963cdac666cd7402e5dc294a.png"> </figure> 通过上述分析，回归本文核心问题上，现在看来我的处理方式过于激进了，其实也可以不用关闭swap，通过适当降低堆大小，也是能够解决问题的。 这也侧面的说明，部署Java服务的Linux系统，在内存分配上并不是无脑大而全，需要综合考虑不同场景下JVM对Java永久代、Java堆(新生代和老年代)、线程栈、Java NIO所使用内存的需求。 <h2 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;border-bottom: 2px solid rgb(239, 112, 96);font-size: 1.3em;">总结 </h2> 综上，我们得出结论，swap和GC同一时候发生会导致GC时间非常长，JVM严重卡顿，极端的情况下会导致服务崩溃。 主要原因是：JVM进行GC时，需要对对应堆分区的已用内存进行遍历，假如GC的时候，有堆的一部分内容被交换到swap中，遍历到这部分的时候就须要将其交换回内存；更极端情况同一时刻因为内存空间不足，就需要把内存中堆的另外一部分换到SWAP中去，于是在遍历堆分区的过程中，会把整个堆分区轮流往SWAP写一遍，导致GC时间超长。线上应该限制swap区的大小，如果swap占用比例较高应该进行排查和解决，适当的时候可以通过降低堆大小，或者添加物理内存。 因此，部署Java服务的Linux系统，在内存分配上要慎重。 以上内容希望可以起到抛转引玉的作用，如有理解不到位的地方烦请指出。 好了，本文的技术部分就到这里啦。 </section>

架构重构技巧

作者：微信小助手

代码重构 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.8044444444444444" data-s="300,640" src="/upload/195ad5e38849f5d5862591adac996902.png" data-type="png" data-w="450" style=""> 【定义】 对软件代码做任何改动以增加可读性或者简化结构而不影响输出结果。 【目的】 增加可读性、增加可维护性、可扩展性。 【关键点】 1. 不影响输出；2. 不修正错误；3. 不增加新的功能性 架构重构 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.75" data-s="300,640" src="/upload/192c853030dd2c0cb988ef63f07ece5c.png" data-type="png" data-w="640" style=""> 【定义】 通过调整系统结构来修复系统质量问题而不影响整体系统能力。 【目的】 修复质量问题（性能、可用性、可扩展……）。 【关键点】 1. 修复质量问题，提升架构质量；2. 不影响整体系统功能；3. 架构本质没有发生变化。 代码重构 vs 架构重构 <table> <tbody> <tr> <td width="172" valign="top" style="word-break: break-all;"> </td> <td width="172" valign="top" style="word-break: break-all;">代码重构 </td> <td width="172" valign="top"> </td> </tr> <tr> <td width="172" valign="top" style="word-break: break-all;">基本做法</td> <td width="172" valign="top" style="word-break: break-all;">调整代码 </td> <td width="172" valign="top" style="word-break: break-all;">调整架构</td> </tr> <tr> <td width="172" valign="top" style="word-break: break-all;">目的</td> <td width="172" valign="top" style="word-break: break-all;">优化代码，增加代码的可读性、可维护性、可扩展性</td> <td width="172" valign="top" style="word-break: break-all;">修复架构质量问题</td> </tr> <tr> <td width="172" valign="top" style="word-break: break-all;">是否修复问题</td> <td width="172" valign="top" style="word-break: break-all;">否</td> <td width="172" valign="top" style="word-break: break-all;">是 </td> </tr> <tr> <td width="172" valign="top" style="word-break: break-all;">是否改变系统能力</td> <td width="172" valign="top" style="word-break: break-all;">否</td> <td width="172" valign="top" style="word-break: break-all;">否 </td> </tr> <tr> <td width="172" valign="top" style="word-break: break-all;">手段 </td> <td width="172" valign="top" style="word-break: break-all;">引入设计模式</td> <td width="172" valign="top" style="word-break: break-all;">引入缓存，分库分表</td> </tr> </tbody> </table> 架构重构手段 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.4351851851851852" data-s="300,640" src="/upload/f5d67fe5482c28f8eccd7ef74ef9720c.png" data-type="png" data-w="1080" style=""> 技巧1 - 先局部优化后架构重构 局部优化 【定义】 对部分业务或者功能进行优化，不影响系统架构。 【常见手段】 1. 数据库添加索引，优化索引； 2. 某个数据缓存更新策略采用后台更新； 3. 增加负载均衡服务数量； 4. 优化代码里面并发的逻辑； 5. 修改 InnoDB buffer pool 配置，分配更多内存； 6. 服务间的某个接口增加1个参数。 架构重构 【定义】 优化系统架构，整体提升质量，架构重构会影响架构的4R定义。 【常见手段】 1. 引入消息队列（增加 Role）； 2. 去掉 ZooKeeper，改为内置 Raft 算法实现（删除 Role）； 3. 将 Memcached 改为 Redis（改变 Role）； 4. 按照稳定性拆分微服务（拆分 Role）； 5. 将粒度太细的微服务合并（合并 Role）； 6. 将服务间的通信方式由 HTTP 改为 gRPC（修改 Relation）； 7. SDK 从读本地配置文件改为从管理系统读取配置（修改Rule） 技巧2 - 有的放矢 1.明确目标： 不要试图解决所有的问题，抓住关键问题。 【技巧】 问题分类：问题收集列表可能有100条，不要全部想着通过架构重构解决，分门 别类，找出需要架构重构解决的问题。 2.明确时间： 要有明确的时间点和里程碑，不要说“慢慢优化”。需要有量化的指标来衡量，不能说“提升 xxx 质量。 【技巧】 独立版本：不要混在业务版本里面做架构重构，否则不好协调资源。 3.明确目标： 需要有量化的指标来衡量，不能说“提升 xxx 质量”。 【技巧】 1. 先收集系统已有相关数据，适合项目投入、时间等； 2. 调查问卷：适合效率、复杂度等。 技巧2 - 案例 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.3148148148148148" data-s="300,640" src="/upload/975685b080d2777f190910a98e9ce7c4.png" data-type="png" data-w="1080" style=""> 技巧3 - 合纵连横 1.合纵：说服业务方和老板。 1. 以数据说话 把“可扩展性”转换为“版本开发速度很慢”，然后给出对应的项目数据。 2. 以案例说话 如果没有数据，就举极端案例，例如某个小功能，开发测试只要5天，但是等了1个月才上线。 1.联横：说服其它团队 1. 换位思考 思考对其它团队的好处，才能让人配合。 2. 合作双赢 汇报和总结的时候，把其它团队也带上。 技巧3 - 案例 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.32407407407407407" data-s="300,640" src="/upload/e5630099f16d682e0dcebb7d365ce40f.png" data-type="png" data-w="1080" style=""> 技巧4 - 运筹帷幄 1.问题分类： 将问题分类，一段时间集中处理一类问题。 避免对照 Excel 表格，一条一条的解决 2.问题排序 分类后排序，按照优先级顺序来落地。 避免见缝插针式的安排重构任务。 3.逐一攻破 每一类问题里面先易后难。 把容易的问题解决掉，增强信心。 技巧4 - 案例 <img class="rich_pages wxw-img" data-galleryid="" data-ratio="0.49166666666666664" data-s="300,640" src="/upload/4d7803c5e8f2c5339839f966448de5c6.png" data-type="png" data-w="1080" style=""> 架构重构的一些典型问题 架构重构是否可以引入新技术？ 可以，但尽量少，架构重构要求快准。 <hr style="border-style: solid;border-width: 1px 0 0;border-color: rgba(0,0,0,0.1);-webkit-transform-origin: 0 0;-webkit-transform: scale(1, 0.5);transform-origin: 0 0;transform: scale(1, 0.5);"> 业务不给时间重构怎么办？ 会哭的孩子有奶吃。 <hr style="border-style: solid;border-width: 1px 0 0;border-color: rgba(0,0,0,0.1);-webkit-transform-origin: 0 0;-webkit-transform: scale(1, 0.5);transform-origin: 0 0;transform: scale(1, 0.5);"> 其它团队不配合怎么办？ 学会利用上级力量。 <hr style="border-style: solid;border-width: 1px 0 0;border-color: rgba(0,0,0,0.1);-webkit-transform-origin: 0 0;-webkit-transform: scale(1, 0.5);transform-origin: 0 0;transform: scale(1, 0.5);"> 业务进度很紧，人力不够怎么办？ 收集需要重构的证据，技术汇报的时候有理有据。 <mp-style-type data-value="3"></mp-style-type>

SpringBoot：一个注解就能帮你下载任意对象

作者：微信小助手

<section data-mpa-template="t" mpa-paragraph-type="ignored" style="margin-bottom: 0px;text-wrap: wrap;letter-spacing: 0.544px;background-color: rgb(255, 255, 255);" data-mpa-powered-by="yiban.io"> 目录 <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;line-height: 1.6;letter-spacing: 0px;word-break: break-word;text-align: left;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 介绍 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 思路 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 结束 </section></li> </ul> <section data-mpa-template="t" mpa-from-tpl="t"> <section data-mpa-category="模板" style="width: 100%;padding: 0 15px;" data-mid="" mpa-from-tpl="t"> <section style="width: 100%;padding: 15px 17px 20px;background: #ebf4ff;font-size: 14px;font-weight: 400;color: #6273aa;line-height: 20px;" data-mid="" mpa-from-tpl="t"> 文章来源：https://blog.csdn.net/m0_64360721/article/details/122960311 </section> <section style="width: 100%;display: flex;justify-content: flex-end;align-items: flex-start;padding-right: 5px;" data-mid="" mpa-from-tpl="t"> <section data-mid="" mpa-from-tpl="t" style="width: 23px;height: 27px;background: url("https://mmbiz.qpic.cn/mmbiz_png/dLHvdVqeWINyJQzMVmQzxIcFqDsaiaK6ATCCANPe11FbZKCApfz0TbDtfc5gfSQNgJpic86YejM6qcNU5gubeetQ/640") no-repeat;background-size: contain;background-position: center center;margin-top: -27px;z-index: 10;"> </section> </section> <section style="width: 100%;display: flex;justify-content: flex-start;align-items: flex-start;" data-mid="" mpa-from-tpl="t"> <section style="width: 52.3%;height: 8px;background: #6273AA;margin-top: -6px;" data-mid="" mpa-from-tpl="t"> </section> <section style="width: 10px;height: 8px;background: #6273AA;transform: skew(35deg);margin-left: -5px;margin-top: -6px;" data-mid="" mpa-from-tpl="t"> </section> </section> <section style="width: 100%;display: flex;justify-content: flex-end;align-items: flex-start;" data-mid="" mpa-from-tpl="t"> <section style="width: 10px;height: 3px;background: #6273AA;transform: skew(35deg);margin-right: -5px;margin-top: -3px;" data-mid="" mpa-from-tpl="t"> </section> <section style="width: 42.2%;height: 3px;background: #6273AA;margin-top: -3px;" data-mid="" mpa-from-tpl="t"> </section> </section> </section> </section> <h2 data-tool="mdnice编辑器"> </h2> <section data-mpa-template="t" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 25.6px;box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;color: rgb(68, 153, 231);" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;text-align: center;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto -38px;padding: 0px 15px;max-width: 100%;display: inline-block;background-color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <p style="margin-top: 5px;margin-bottom: 5px;max-width: 100%;clear: both;min-height: 1em;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;">介绍 </section> <section style="margin: -40px 25px 50px;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 3px 0px 0px;padding: 10px 0px;max-width: 100%;box-sizing: border-box;display: inline-block;width: 495px;color: rgb(68, 153, 231);float: left;border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 1em 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);clear: both;color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px 0px -3px;padding: 0px;max-width: 100%;float: right;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: 0px 0px -2px;padding: 0px;max-width: 100%;text-align: left;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: -20px 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;text-decoration: inherit;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-top: 1px solid rgb(68, 153, 231);width: 495px;float: left;border-right-color: rgb(68, 153, 231);border-bottom-color: rgb(68, 153, 231);border-left-color: rgb(68, 153, 231);color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> </section> </section> </section> </section> </section> </section> </blockquote> </section> </section> </blockquote> </section> 下载功能应该是比较常见的功能了，虽然一个项目里面可能出现的不多，但是基本上每个项目都会有，而且有些下载功能其实还是比较繁杂的，倒不是难，而是麻烦。 所以结合之前的下载需求，我写了一个库来简化下载功能的实现 <blockquote data-tool="mdnice编辑器" style="border-width: initial;border-style: none;border-color: initial;font-size: 0.9em;overflow: auto;margin-bottom: 20px;margin-top: 20px;padding-top: 10px;padding-right: 10px;padding-bottom: 10px;line-height: 1.8;border-radius: 0px 0px 10px 10px;color: rgb(14, 136, 235);background: rgb(255, 255, 255);box-shadow: rgb(132, 161, 168) 0px 10px 15px;"> ❝ 传送门：https://github.com/Linyuzai/concept/wiki/Concept-Download ❞ </blockquote> 如果我说现在只需要一个注解就能帮你下载任意的对象，是不是觉得非常的方便 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hzVGicX27IG1xSmLWhia6IibKjtW00qp2PJNo0qoyFEJa2wicj5SKvYw9vv9ic2BpNvSkccicwsH7ICu0Xz0m69eynXiaPq3bUOEKpt/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #1E1E1E;border-radius: 5px;">@Download(source = "classpath:/download/README.txt") @GetMapping("/classpath") public void classpath() { } @Download @GetMapping("/file") public File file() {     return new File("/Users/Shared/README.txt"); } @Download @GetMapping("/http") public String http() {     return "http://127.0.0.1:8080/concept-download/image.jpg"; } </code></pre> 感觉差别不大？那就听听我遇到的一个下载需求 我们有一个平台是管理设备的，然后每个设备都会有一个二维码图片，用一个字段存储的 http 地址 现在需要导出所有设备二维码图片的压缩包，图片名称需要用设备名称加 .png 后缀，需求上来说并不难，但是着实有点麻烦 <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 首先我需要将设备列表查出来 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 然后使用二维码地址下载图片并写到本地缓存文件 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 在下载之前需要先判断是否已经存在缓存 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 下载时需要并发下载提升性能 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 等所有图片下载结束后 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 再生成一个压缩文件 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 15px;"> 然后再操作输入输出流写到响应中 </section></li> </ul> 看着我实现了将近 200 行的代码，真是又臭又长，一个下载功能咋能那么麻烦呢，于是我就想有没有更简单的方式 我当时的需求很简单，我想着我只要提供需要下载的数据，比如一个文件路径，一个文件对象，一段字符串文本，一个http地址，或者混搭了前面所有类型的一个集合，甚至是我们自定义的某个类的实例，后面的事情我就不用管了 文件路径是一个文件还是一个目录？字符串文本需要先写入一个文本文件中？http资源如何下载到本地？多个文件怎么压缩？最后怎么写到响应中？我才不想花时间管这些 比如就像我现在这个需求，我只要返回设备列表就行了，其他的事情我都不用管 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hzVGicX27IG1xSmLWhia6IibKjtW00qp2PJNo0qoyFEJa2wicj5SKvYw9vv9ic2BpNvSkccicwsH7ICu0Xz0m69eynXiaPq3bUOEKpt/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #1E1E1E;border-radius: 5px;">@Download(filename = "二维码.zip") @GetMapping("/download") public List<Device> download() {     return deviceService.all(); } public class Device {     //设备名称     private String name;     //设备二维码     //注解表示该http地址是需要下载的数据     @SourceObject     private String qrCodeUrl;     //注解表示文件名称     @SourceName     public String getQrCodeName() {         return name + ".png";     }     //省略其他属性方法 } </code></pre> 通过在 Device 的字段上标注某些注解（或是实现某个接口）来指定文件名称和文件地址 如果能这样实现，省时省心省力，又多了写 199 行代码的摸鱼时间难道不香么 <h2 data-tool="mdnice编辑器"> </h2> <h2 data-tool="mdnice编辑器"> </h2> <section data-mpa-template="t" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);font-size: 16px;white-space: normal;background-color: rgb(255, 255, 255);line-height: 25.6px;box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;color: rgb(68, 153, 231);" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <blockquote style="margin: 5px auto;padding: 0px;max-width: 100%;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto;padding: 0px;max-width: 100%;text-align: center;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px auto -38px;padding: 0px 15px;max-width: 100%;display: inline-block;background-color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <p style="margin-top: 5px;margin-bottom: 5px;max-width: 100%;clear: both;min-height: 1em;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;">思路 </section> <section style="margin: -40px 25px 50px;padding: 0px;max-width: 100%;border-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 3px 0px 0px;padding: 10px 0px;max-width: 100%;box-sizing: border-box;display: inline-block;width: 495px;color: rgb(68, 153, 231);float: left;border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 1em 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-width: 0px;border-style: none;border-color: rgb(68, 153, 231);clear: both;color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px 0px -3px;padding: 0px;max-width: 100%;float: right;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: 0px 0px -2px;padding: 0px;max-width: 100%;text-align: left;border-color: rgb(68, 153, 231);width: 6px;border-radius: 50%;background-color: rgb(68, 153, 231);box-sizing: border-box !important;word-wrap: break-word !important;overflow-wrap: break-word !important;height: 6px !important;" mpa-from-tpl="t"> </section> <section style="margin: -20px 0px 0px;padding: 0px;max-width: 100%;box-sizing: border-box;text-decoration: inherit;color: rgb(68, 153, 231);border-color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> <section style="margin: 0px;padding: 0px;max-width: 100%;box-sizing: border-box;border-top: 1px solid rgb(68, 153, 231);width: 495px;float: left;border-right-color: rgb(68, 153, 231);border-bottom-color: rgb(68, 153, 231);border-left-color: rgb(68, 153, 231);color: rgb(68, 153, 231);word-wrap: break-word !important;overflow-wrap: break-word !important;" mpa-from-tpl="t"> </section> </section> </section> </section> </section> </section> </blockquote> </section> </section> </blockquote> </section> 下面来讲讲这个库的主要设计思路，以及中间遇到的坑，大家有兴趣可以继续往下看 其实基于一开始的设想，我觉得功能并没有多复杂，于是就决定开肝 只是万万没想到实现起来比我想象的更复杂（这是后话了） <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;color: rgb(14, 136, 235);">基础</h3> 首先整个库基于响应式编程，但却并不是完全意义上的响应式，只能说是<code style="font-size: 14px;padding: 2px 4px;border-radius: 4px;margin-right: 2px;margin-left: 2px;color: rgb(30, 107, 184);background-color: rgba(27, 31, 35, 0.05);font-family: "Operator Mono", Consolas, Monaco, Menlo, monospace;word-break: break-all;">Mono<InputStream</code>>这样的。。。奇怪组合？ 为什么会这样呢，很大的一个原因是由于需要兼容webmvc和webflux，导致我仅仅是将之前实现的InputStream方式重构成了响应式，所以就出现了这样的组合 这也是我遇到的最大的一个坑，我先前已经基本调通了基于Servlet的整个下载流程，然后就想着支持一下webflux 大家都知道webmvc中，我们可以通过RequestContextHolder来获得请求和响应对象，但是在webflux中就不行了，当然我们可以在方法参数中注入 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hzVGicX27IG1xSmLWhia6IibKjtW00qp2PJNo0qoyFEJa2wicj5SKvYw9vv9ic2BpNvSkccicwsH7ICu0Xz0m69eynXiaPq3bUOEKpt/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;font-family: Operator Mono, Consolas, Monaco, Menlo, monospace;font-size: 12px;-webkit-overflow-scrolling: touch;padding-top: 15px;background: #1E1E1E;border-radius: 5px;">@Download(source = "classpath:/download/README.txt") @GetMapping("/classpath") public void classpath(ServerHttpResponse response) { } </code></pre> 结合Spring自带的注入功能，我们就可以通过AOP拿到响应的入参了，但是总觉得这样写有点多余，强迫症表示不能忍 有什么办法既能把用不到的入参干掉，又能拿到响应对象呢，在网上找到了一种实现方式 <pre data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;border-radius: 5px;box-shadow: rgba(0, 0, 0, 0.55) 0px 2px 10px;"><span style="display: block;background: url("https://mmbiz.qpic.cn/mmbiz_svg/hzVGicX27IG1xSmLWhia6IibKjtW00qp2PJNo0qoyFEJa2wicj5SKvYw9vv9ic2BpNvSkccicwsH7ICu0Xz0m69eynXiaPq3bUOEKpt/640?wx_fmt=svg") 10px 10px / 40px no-repeat rgb(30, 30, 30);height: 30px;width: 100%;margin-bottom: -7px;border-radius: 5px;"><code style="overflow-x: auto;padding: 16px;color: #DCDCDC;display: -webkit-box;fo

1.入门-K8s 集群架构介绍

作者：微信小助手

<section data-role="outer" label="edit by 135editor"> <img class="rich_pages wxw-img" data-ratio="1" src="/upload/08df4a90871b04c5e2d71e0fbf281f40.png" data-w="400" data-width="141px" style="vertical-align: inherit;width: 141px;" width="141"> <section data-role="paragraph"> <blockquote class="js_blockquote_wrap" data-type="2" data-url="" data-author-name="" data-content-utf8-length="36" data-source-title=""> <section class="js_blockquote_digest"> 加微信 “AmsNeil” 领取所有系列Markdown/PDF文档和源码<span style="font-size: 18px;font-weight: bold;color: black;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;letter-spacing: 2px;text-align: left;"> </section> </blockquote> </section> <section data-tools="135编辑器" data-id="125616" data-color="#0070c0"> <section> <section data-width="80%"> <section> <section> <section data-tool="mdnice编辑器" data-website="https://www.mdnice.com" style="font-size: 16px;color: black;padding-right: 10px;padding-left: 10px;word-break: break-word;text-align: left;line-height: 1.25;letter-spacing: 2px;background-image: linear-gradient(90deg, rgba(50, 0, 0, 0.05) 3%, rgba(0, 0, 0, 0) 3%), linear-gradient(360deg, rgba(50, 0, 0, 0.05) 3%, rgba(0, 0, 0, 0) 3%);background-size: 20px 20px;background-position: center center;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;"> Kubernetes（通常简称为K8s）是一个用于自动部署、扩展和管理容器化应用程序的开源容器编排平台。它提供了一种便捷的方式来管理容器，使得在一个集群中运行、调度和扩展应用程序变得更加简单。 <h2 data-tool="mdnice编辑器" style="font-weight: bold;font-size: 22px;margin-top: 20px;margin-right: 10px;">为什么使用k8s而不是直接使用Docker？</h2> 尽管Docker提供了优秀的容器化解决方案，但它主要专注于构建、打包和运行容器。Kubernetes在这个基础上提供了更高级的编排和管理功能，特别适用于复杂的微服务架构和大规模的容器化应用程序。 <ol data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;font-size: 15px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「自动化和编排：」 Kubernetes提供了自动化和编排容器的能力，使得在生产环境中运行大规模、多组件的应用程序变得容易。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「高可用性：」 Kubernetes的设计目标之一是确保应用程序的高可用性，即使在节点故障或其他问题时，也能保持服务的可用性。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「水平扩展：」 Kubernetes支持水平扩展，能够根据负载自动调整应用程序的规模，以应对流量的变化。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「服务发现和负载均衡：」 Kubernetes提供了内置的服务发现机制和负载均衡，使得在应用程序组件之间进行通信更加容易。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「滚动更新和回滚：」 Kubernetes支持滚动更新，使得应用程序的升级变得更加平滑，同时也支持回滚到之前的版本。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「资源管理：」 Kubernetes允许对资源进行灵活的管理和调度，确保Pods获得适当的资源分配。 </section></li> </ol> <h2 data-tool="mdnice编辑器" style="font-weight: bold;font-size: 22px;margin-top: 20px;margin-right: 10px;">K8s基本概念</h2> 以下是Kubernetes的一些基本概念和入门介绍： <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;text-align: center;">1. 「容器化技术基础」</h3> Kubernetes主要用于管理和编排容器化应用程序。容器是一种轻量级、可移植的软件打包方式，其中包含应用程序及其所有依赖关系。Docker是一个流行的容器化工具，但K8s也支持其他容器运行时。 <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;text-align: center;">2. 「Kubernetes的核心概念」</h3> <figure data-tool="mdnice编辑器" style="margin-top: 10px;margin-bottom: 10px;display: flex;flex-direction: column;justify-content: center;align-items: center;"> <img class="rich_pages wxw-img" data-imgfileid="100011228" data-ratio="0.48518518518518516" src="/upload/6d91dfa10730aa4a79358f0f5b0ece41.png" data-type="png" data-w="1080" style="border-radius: 6px;display: block;margin: 20px auto;object-fit: contain;box-shadow: rgb(153, 153, 153) 2px 4px 7px;"> </figure> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;">2.1 「Pods（Pod）」</h4> Pod是Kubernetes中最小的可部署单元，它包含一个或多个相关的容器。这些容器共享网络命名空间和存储卷，它们通常协同工作来构成一个应用程序。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;">2.2 「Service（服务）」</h4> Service定义了一组Pod的逻辑集合，并提供了一个访问这些Pod的稳定入口点。Service可以通过集群内部或外部的网络访问这些Pod。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;">2.3 「Deployment（部署）」</h4> Deployment用于定义应用程序的期望状态，并确保实际运行的Pod副本数量与期望状态一致。Deployment还支持滚动更新和回滚操作，以便更新应用程序。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;">2.4 「ConfigMap和Secret」</h4> ConfigMap用于将配置数据从应用程序中分离出来，而Secret则用于安全地存储敏感信息，如密码、API密钥等。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;">2.4 「Ingress」</h4> Kubernetes Ingress（K8s Ingress）是一种用于管理和公开Kubernetes集群中服务的API对象。它允许外部流量进入集群，并提供路由规则来决定如何将该流量路由到不同的服务. <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;text-align: center;">3. 「Kubernetes的工作原理」</h3> Kubernetes集群由一组物理或虚拟机器组成，这些机器被称为节点。集群有一个主节点（Master）和多个工作节点（Node）。 <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;">3.1 「主节点（Master）」</h4> 主节点负责管理集群的整体状态和控制工作节点的操作。它包括以下组件： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;font-size: 15px;list-style-type: circle;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「API Server：」 提供了K8s API的入口，用于与Kubernetes进行交互。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「Controller Manager：」 负责监控系统状态，确保实际状态符合期望状态。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「Scheduler：」 负责将Pod调度到工作节点上运行。 </section></li> </ul> <h4 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;font-size: 18px;">3.2 「工作节点（Node）」</h4> 工作节点是集群中的计算资源，用于运行容器。每个工作节点包括以下组件： <ul data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;font-size: 15px;list-style-type: circle;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「Kubelet：」 负责与主节点通信，确保在节点上运行所需的Pod。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「Container Runtime：」 用于启动和管理容器的软件，如Docker。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「Kube Proxy：」 负责在节点上实现Service的网络代理。 </section></li> </ul> <h3 data-tool="mdnice编辑器" style="margin-top: 30px;margin-bottom: 15px;font-weight: bold;text-align: center;">4. 「Kubernetes的使用流程」</h3> <ol data-tool="mdnice编辑器" style="margin-top: 8px;margin-bottom: 8px;padding-left: 25px;font-size: 15px;" class="list-paddingleft-1"> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「定义应用程序：」 使用K8s的YAML文件定义应用程序的组件，包括Pods、Services、Deployments等。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「部署应用程序：」 使用kubectl工具或Kubernetes API将定义的应用程序组件部署到集群中。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「Kubernetes控制器处理：」 控制器（如Deployment）会接收定义并确保集群状态与定义状态一致。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「应用程序运行：」 K8s会在工作节点上创建和调度Pods，确保应用程序正常运行。 </section></li> <li> <section style="margin-top: 5px;margin-bottom: 5px;line-height: 26px;color: rgb(1, 1, 1);font-size: 14px;"> 「监控和维护：」 使用K8s的监控工具来监测集群状态，进行日志管理和故障排除。 </section></li> </ol> Kubernetes为应用程序提供了弹性、可伸缩性和高可用性的运行环境，使得应用程序在多个环境中更容易部署和管理。学习和掌握Kubernetes需要逐步深入，通过实践和使用各种资源来加深理解。 </section> <section class="mp_profile_iframe_wrp"> ‍ <mp-common-profile class="js_uneditable custom_select_card mp_profile_iframe" data-pluginname="mpprofile" data-weui-theme="light" data-id="MzU2MzYwMDI0Ng==" data-headimg="http://mmbiz.qpic.cn/sz_mmbiz_png/L3TFosuayYqHqhI3kVX5yJNicB3gQYEUr07zpQuiajmfCYwlhM8lnDYeC9qqtBLiab2WmtQP0cbFqlKM6sZXp06ew/0?wx_fmt=png" data-nickname="乐哥聊编程" data-alias="lglbc2022" data-signature="专注编程分享，聊程序人生" data-from="0" data-is_biz_ban="0"></mp-common-profile> ‍ </section> </section> </section> </section> </section> </section> </section> <mp-style-type data-value="3"></mp-style-type>

文章列表