当前位置:首页 > 科技  > 软件

Jedis连接池究竟是何物

来源: 责编: 时间:2023-12-26 09:30:25 409观看
导读一、前言连接池的用途实际上有过开发经验的朋友都已经比较清楚了,当资源对象的创建/销毁比较耗时的场景下,可以通过"池化"技术,达到资源的复用,以此来减少系统的开销、增大系统吞吐量,比如数据库连接池、线程池、Redis 连

一、前言

连接池的用途实际上有过开发经验的朋友都已经比较清楚了,当资源对象的创建/销毁比较耗时的场景下,可以通过"池化"技术,达到资源的复用,以此来减少系统的开销、增大系统吞吐量,比如数据库连接池、线程池、Redis 连接池等都是使用的该方式,而我们在开发场景中使用较为广泛的 Jedis 就是使用了 GenericObjectPool 作为它底层的连接池实现。SWi28资讯网——每日最新资讯28at.com

二、原理概述

SWi28资讯网——每日最新资讯28at.com

图示

SWi28资讯网——每日最新资讯28at.com

图片图片SWi28资讯网——每日最新资讯28at.com

  • BorrowObject

业务模块通过 BorrowObject 方法从空闲连接队列中获取空闲连接,最长会等待 maxWaitMillis 毫秒,如果拿不到则走 Create。SWi28资讯网——每日最新资讯28at.com

  • ReturnObject
  • 把连接重新放回到 IdleObjects 队列中。SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

类结构

图片图片SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

Jedis里如何使用的

SWi28资讯网——每日最新资讯28at.com

一般情况下我们在 Spring Boot 应用中会通过 Spring-Data-Redis 来使用 Redis,而在业务层会通过 RedisTemplate 来进行 Redis 的操作,但是 RedisTemplate 是怎么来的呢?可以看到当我们引入 Spring-Data-Redis 时,就会引入 RedisAutoConfiguration,这个 AutoConfiguration 定义了,当我们存在 Jedis 的配置时且不存在 RedisTempalte 的 Bean 实例时会自动创建 Bean,核心代码如下图。

图片图片SWi28资讯网——每日最新资讯28at.com

而 RedisConnectionFactory 的其中一个实现就是 JedisConnectionFactory,其中就包含了 Pool。SWi28资讯网——每日最新资讯28at.com

图片图片SWi28资讯网——每日最新资讯28at.com

而 Pool 本身内部就能看到我们真正的主角。SWi28资讯网——每日最新资讯28at.com

图片图片SWi28资讯网——每日最新资讯28at.com

捋一下其中的关系,我们常用的 Spring-Data-Redis 的 Jedis 实现最终是通过以下的层级结构来使用 GenericObjectPool 的。SWi28资讯网——每日最新资讯28at.com

图片图片SWi28资讯网——每日最新资讯28at.com

三、深入分析

SWi28资讯网——每日最新资讯28at.com

参数说明

SWi28资讯网——每日最新资讯28at.com

如上述类结构所示,GenericObjectPool 都是在 GenericObjectPoolConfig 或 BaseObjectPoolConfig 中进行配置相关参数的,其中核心参数以及默认值如下:SWi28资讯网——每日最新资讯28at.com

图片图片SWi28资讯网——每日最新资讯28at.com

上图对这些参数按颜色进行了一个归类:SWi28资讯网——每日最新资讯28at.com

图片图片SWi28资讯网——每日最新资讯28at.com

这里需要注意的是,虽然 GenericObjectPool 支持我们配的参数较多,但是 Spring-Data-Redis 将这部分参数收敛了,具体可供我们修改的只有表格上面的这部分内容,其他参数,有一部分在 JedisPoolConfig 类中,继承了 GenericObjectPoolConfig 进行了修改,比如 Spring-Data-Redis 就修改了以下参数的默认值。SWi28资讯网——每日最新资讯28at.com

testWhileIdle=trueSWi28资讯网——每日最新资讯28at.com

minEvictableIdleTimeMillis=60000SWi28资讯网——每日最新资讯28at.com

timeBetweenEvictinotallow=30000SWi28资讯网——每日最新资讯28at.com

numTestsPerEvictinotallow=-1SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

核心方法

SWi28资讯网——每日最新资讯28at.com

本文只会针对方法的一些核心链路进行说明,如想知道更多细节,针对源码解析的可以在网上搜索其他相关文章或是到我的参考链接里进行翻看。SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

BorrowObject

  • 超时时间怎么用的?

该方法用于从连接池中获取一个空闲对象,它有可能是从空闲池中直接获取的,或是直接创建出来的,如果第一次从空闲对象中没有获取到,会走创建后重新获取,此时如果对象池目前配置的 BlockWhenExhausted=true,那么就会受 maxWaitMillis 参数所配置的超时时间所控制,如果超过了超时时间,都没拿到一个空闲的对象,则会直接抛出异常。SWi28资讯网——每日最新资讯28at.com

  • testOnBorrow 和 testOnCreate 的使用场景

当获取到一个对象后,由于对象池中往往存放的是诸如数据库连接、Redis 连接等创建时较为耗时的资源,但是因为连接本身是复用的,如果 MySQL/Redis Server 端如果因为某些原因断开/释放了该链接,那么此时拿到的对象就是个无效的对象,因此在 borrowObject 阶段会判定,如果:SWi28资讯网——每日最新资讯28at.com

testOnBorrow=true || (create && testOnCreate=true)

就会走到:SWi28资讯网——每日最新资讯28at.com

factory.validateObject

这里如何进行 validateObject 的,是由上层使用对象池的场景所决定的,比如在 Jedis 场景中,会向 Redis Server 发送一个 Ping 命令,如果 Server 返回了 Pong,则认为该连接仍然有效,可以给业务层使用。SWi28资讯网——每日最新资讯28at.com

但是!!!!!!SWi28资讯网——每日最新资讯28at.com

线上环境千万不要配置 testOnBorrow=true 或是 testOnCreate=true。SWi28资讯网——每日最新资讯28at.com

每个对象的获取都需要先校验再拿,会大大增加单次请求的 RT。SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

ReturnObjectSWi28资讯网——每日最新资讯28at.com

  • testOnReturn 的使用场景

实际上 testOnReturn 的使用场景与上述 borrowObject 时的 testOnBorrow 是类似的,只是testOnReturn就是一个归还对象的操作。同理,线上千万不要配置 testOnReturn=true。SWi28资讯网——每日最新资讯28at.com

  • 什么时候归还,什么时候销毁?

对象池中维护了一个结构为 LinkedBlockingDeque,名为 IdleObjects 的对象用于维护空闲对象队列,且是否归或销毁的判断逻辑如下:SWi28资讯网——每日最新资讯28at.com

final int maxIdleSave = getMaxIdle();if (isClosed() || maxIdleSave > -1 && maxIdleSave <= idleObjects.size()) {  ...销毁对象}else{  ...返还至idleObjects}

如果:SWi28资讯网——每日最新资讯28at.com

  • 对象池已经关闭(只要是程序在运行,且正常使用,不会关闭)

SWi28资讯网——每日最新资讯28at.com

  • 配置了 maxIdle 且空闲对象列表数量 >=maxIdle

则对象会被销毁,否则对象会重新回到 IdleObjects 中。SWi28资讯网——每日最新资讯28at.com

四、内部机制

SWi28资讯网——每日最新资讯28at.com

Evict(定期驱逐/保活机制)

SWi28资讯网——每日最新资讯28at.com

  • 周期怎么定?

当 timeBetweenEvictionRunsMillis 配置 >0 时,在 GenericObjectPool 所继承的基类中,会启一个周期性执行的线程,它的执行周期就是 timeBetweenEvictionRunsMillis 的值。SWi28资讯网——每日最新资讯28at.com

  • 为什么要驱逐?

当空闲对象过多,对于客户端或服务端的 TCP 连接维护来讲,本身就是一个开销,因此,需要有一个规则,当有一些对象实在太空闲了,就把它们踢掉。SWi28资讯网——每日最新资讯28at.com

  • 哪些对象应该被驱逐?

首先会从空闲对象列表中挑选出一部分对象,而这个挑选过程本身也有一个规则,它受 numTestsPerEvictionRun 参数控制。SWi28资讯网——每日最新资讯28at.com

当 numTestsPerEvictionRun>0,会挑选出 numTestsPerEvictionRun 数量的空闲连接进行检查。SWi28资讯网——每日最新资讯28at.com

当 numTestsPerEvictionRun<0 时,首先会对 numTestsPerEvictionRun 取绝对值,再然后挑选出空闲数量 /numTestsPerEvictionRun 绝对值的数量进行检查,举个例子,如果 numTestsPerEvictinotallow=-2,就会挑选出一半进行检查。SWi28资讯网——每日最新资讯28at.com

  • 驱逐检查怎么做?

本身驱逐检查的实现方式是支持自定义的,也就是 evictionPolicy 参数,但是往往只会选择用默认的实现,也就是 DefaultEvictionPolicy,它的驱逐检查策略如下:SWi28资讯网——每日最新资讯28at.com

if ((config.getIdleSoftEvictTime() < underTest.getIdleTimeMillis() &&        config.getMinIdle() < idleCount) ||        config.getIdleEvictTime() < underTest.getIdleTimeMillis()) {    return true;}return false;

underTest 为被检查对象,当存在以下场景时,满足驱逐检查规则,会触发驱逐。SWi28资讯网——每日最新资讯28at.com

underTest 的空闲时间 > softMinEvictableIdleTimeMillis 且当前空闲对象数量 > minIdle 或 underTest 的空闲时间 > minEvictableIdleTimeMillis。SWi28资讯网——每日最新资讯28at.com

Tips:有一些好奇的同学可能会问,对象的空闲时间是怎么算的?SWi28资讯网——每日最新资讯28at.com

池中的对象本身会维护一个 lastReturnTime 的时间戳,它会随着对象每一次 returnObject 时进行更新,当获取对象空闲时间时,只要它还是在空闲对象中,那么用当前时间戳 -lastReturnTime 就是认为该对象的空闲时间。SWi28资讯网——每日最新资讯28at.com

  • 驱逐与保活的关系是怎么样的?

由于前面提到过,不能配置 testOnBorrow 和 testOnReturn,那么如果 Server 端的链接直接断开了,怎么能保证池中对象的有效性呢?如果让调用端调用时再触发,会不会太晚了呢?这时候就有个参数 testWhileIdle,当此参数打开时,就代表会在对象空闲时进行对象可用性检查,具体代码如下:SWi28资讯网——每日最新资讯28at.com

if (evict) {    destroy(underTest);    destroyedByEvictorCount.incrementAndGet();} else {    if (testWhileIdle) {        try {            factory.activateObject(underTest);        } catch (final Exception e) {            destroy(underTest);            destroyedByEvictorCount.incrementAndGet();        }    }}

这里隐掉了一些相关的非核心逻辑,这里可以看到 testWhileIdle 的保活机制实际上和 evict 是配套使用的,如果被检查对象需要被驱逐,也就是 evict=true,则会直接 destory 对象,否则它会判定 testWhileIdle 的状态,此时如果 testWhileIdle=true,那么就会激活一下对象,具体激活的方式是由使用对象池的上层工厂所决定的。SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

Test(检查机制)

SWi28资讯网——每日最新资讯28at.com

本身 GenericObjectPool 为了保证在池子中的对象有效性,会允许上层分别在几个节点进行对象的有效性检查,分别是:
testOnBorrow、testOnReturn、testOnCreate。

这几个基本看名字就知道是什么意思了,在前面讲 borrowObject 和 returnObject 的时候也有提到,还有一个相对比较特别的是:SWi28资讯网——每日最新资讯28at.com

testWhileIdle。SWi28资讯网——每日最新资讯28at.com

该参数目的是为了对象在空闲期间可以进行检查,而它的触发实际上是和 evict(定期驱逐机制)联合起来进行使用的。SWi28资讯网——每日最新资讯28at.com

SWi28资讯网——每日最新资讯28at.com

Abandoned(抛弃机制)

SWi28资讯网——每日最新资讯28at.com

实际上在提到配置参数、BorrowObject 时,还有一个机制,称之为 Abandoned,由于本文的契机是因为 Jedis 的问题分析所写,而 Jedis 连接池并不支持配置 Abandoned,所以本文暂不做解析,或者感兴趣的可以自己到上面讲的源码路径去看一下,本身这个机制的理解也不是特别复杂。

五、排障方式

本身 GenericObjectPool 默认会把自己的一些参数通过 JMX 的方式进行注册,那么我们可以通过 Jvisualvm 进行查看,或是通过 Arthas,输入如下命令:SWi28资讯网——每日最新资讯28at.com

mbean org.apache.commons.pool2:type=GenericObjectPool,name=pool-redisConnectionFactory
可以获取到对象池当前的一些属性,如下图:

图片图片SWi28资讯网——每日最新资讯28at.com

其中对于优化比较有用的就是 CreatedCount(创建对象的数量)、DestoryedCount(对象销毁的对象)、DestoryedByEvictorCount(因为驱逐机制而被销毁的对象数量)。SWi28资讯网——每日最新资讯28at.com

六、总结

上述文章以 Jedis 为引,分析了 GenericObjectPool 连接池的底层原理以及 Jedis 是如何使用该连接池的,并且结合了 Arthas 分享了一个简单的排障方式,实际上如果知道了 GenericObjectPool 连接池的原理,其他连接池也是大同小异,本文希望抛砖引玉,带大家对于连接池的底层实现有个基本概念,相信以后遇到此类问题也会有分析的思路,不再迷茫~SWi28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-26-54175-0.htmlJedis连接池究竟是何物

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: Java中的序列化和反序列化它们的作用和用途是什么?

下一篇: 20行经典C代码,很多人看不明白,你来试一下?

标签:
  • 热门焦点
  • vivo TWS Air开箱体验:真轻 臻好听

    在vivo S15系列新机的发布会上,vivo的最新款真无线蓝牙耳机vivo TWS Air也一同发布,本次就这款耳机新品给大家带来一个简单的分享。外包装盒上,vivo TWS Air保持了vivo自家产
  • 量化指标是与非:挽救被量化指标扼杀的技术团队

    作者 | 刘新翠整理 | 徐杰承本文整理自快狗打车技术总监刘新翠在WOT2023大会上的主题分享,更多精彩内容及现场PPT,请关注51CTO技术栈公众号,发消息【WOT2023PPT】即可直接领取
  • 慕岩炮轰抖音,百合网今何在?

    来源:价值研究所 作者:Hernanderz&ldquo;难道就因为自己的一个产品牛逼了,从客服到总裁,都不愿意正视自己产品和运营上的问题,选择逃避了吗?&rdquo;这一番话,出自百合网联合创
  • 本地生活这块肥肉,拼多多也想吃一口

    出品/壹览商业 作者/李彦编辑/木鱼拼多多也看上本地生活这块蛋糕了。近期,拼多多在App首页&ldquo;充值中心&rdquo;入口上线了本机生活界面。壹览商业发现,该界面目前主要
  • 中国家电海外掘金正当时|出海专题

    作者|吴南南编辑|胡展嘉运营|陈佳慧出品|零态LT(ID:LingTai_LT)2023年,出海市场战况空前,中国创业者在海外纷纷摩拳擦掌,以期能够把中国的商业模式、创业理念、战略打法输出海外,他们依
  • 阿里大调整

    来源:产品刘有媒体报道称,近期淘宝天猫集团启动了近年来最大的人力制度改革,涉及员工绩效、层级体系等多个核心事项,目前已形成一个初步的&ldquo;征求意见版&rdquo;:1、取消P序列
  • 2299元起!iQOO Pad明晚首销:性能最强天玑平板

    5月23日,iQOO如期举行了新品发布会,除了首发安卓最强旗舰处理器的iQOO Neo8系列新机外,还在发布会上推出了旗下首款平板电脑——iQOO Pad,其最大的卖点
  • 引领旗舰级影像能力向中端机普及 OPPO K11 系列发布 1799 元起

    7月25日,OPPO正式发布K系列新品—— OPPO K11 。此次 K11 在中端手机市场长期被忽视的影像板块发力,突破性地搭载索尼 IMX890 旗舰大底主摄,支持 OIS
  • 北京:科技教育体验基地开始登记

      北京“科技馆之城”科技教育体验基地登记和认证工作日前启动。首批北京科技教育体验基地拟于2023年全国科普日期间挂牌,后续还将开展常态化登记。  北京科技教育体验基
Top