Java模拟并解决缓存穿透

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: Java模拟并解决缓存穿透什么叫做缓存穿透缓存穿透只会发生在高并发的时候,就是当有10000个并发进行查询数据的时候,我们一般都会先去redis里面查询进行数据,但是如果redis里面没有这个数据的时候,那么这10000个并发里面就会有很大一部分并发会一下子都去mysql数据库里面进行查询了解决缓存穿透首先我模拟一下缓存穿透比如下面的代码在这里插入图片描述Pom.

Java模拟并解决缓存穿透
什么叫做缓存穿透
缓存穿透只会发生在高并发的时候,就是当有10000个并发进行查询数据的时候,我们一般都会先去redis里面查询进行数据,但是如果redis里面没有这个数据的时候,那么这10000个并发里面就会有很大一部分并发会一下子都去mysql数据库里面进行查询了

解决缓存穿透
首先我模拟一下缓存穿透
比如下面的代码
在这里插入图片描述
Pom.xml代码

<?xml version="1.0" encoding="UTF-8"?>

     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.example</groupId>
<artifactId>springboot</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>

<name>springboot</name>
<description>Demo project for Spring Boot</description>

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.1.1.RELEASE</version>
    <relativePath></relativePath> <!-- lookup parent from repository -->
</parent>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <java.version>1.8</java.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>1.1.1</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
</build>


Application.properties

server.port=8081

DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8
spring.datasource.username=root
spring.datasource.password=root

spring集成Mybatis环境

pojo别名扫描包

mybatis.type-aliases-package=com.itheima.domain

加载Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml
MyController代码,下面的蓝色代码是模仿10000个并发线程

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;
import com.itheima.domain.User;
import com.itheima.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**

  • @author xinzhu
  • @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $
    */

@RestController
public class MyController {

@Autowired
private UserService userService;

@RequestMapping("/hello/{id}")
@ResponseBody
public User queryUser(@PathVariable Integer id){
   // 蓝色代码注释开始
   new Thread(){
        @Override
        public void run() {
            for (int x = 0; x < 10000; x++) {
                userService.queryUser(id);
            }
        }

    }.start();
    // 蓝色代码注释结束

    return userService.queryUser(id);
}

}
User类

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.domain;

/**

  • @author xinzhu
  • @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $
    */

public class User {

// 主键
private Integer id;
// 用户名
private String username;
// 密码
private String password;
// 姓名
private String name;

public void setId(Integer id) {
    this.id = id;
}

@Override
public String toString() {
    return "User{" +
            "id=" + id +
            ", username='" + username + '\'' +
            ", password='" + password + '\'' +
            ", name='" + name + '\'' +
            '}';
}

public Integer getId() {
    return id;
}
public String getUsername() {
    return username;
}
public void setUsername(String username) {
    this.username = username;
}

public String getPassword() {
    return password;
}
public void setPassword(String password) {
    this.password = password;
}

public String getName() {
    return name;
}

public void setName(String name) {
    this.name = name;
}

}
UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

public User queryUser(Integer id);

}
UserServiceImpl,下面的蓝色代码就是模仿redis,此时要注意下面的模拟redis的map集合必须放到下面的queryUser的外面,也就是说下面的userMap变量必须是成员变量,不然的话,因为redis是被多个线程共享的,如果你放到下面的queryUser()方法里面,那么就是多个线程有多个userMap集合,下面的代码就是如果查询到数据,那么就用redis里面的,如果查询不到就用数据库里面的

package com.itheima.service;

import com.itheima.domain.User;
import com.itheima.mapper.UserMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.HashMap;
import java.util.Map;

@Service
public class UserServiceImpl implements UserService {

@Autowired
private UserMapper userMapper;
// 蓝色代码注释开始
static Map<Integer,User> userMap=new HashMap();
static {
    User huancun_user =new User();
    huancun_user.setId(1);
    huancun_user.setName("zhangsan");
    huancun_user.setPassword("123");
    huancun_user.setName("张三");
    userMap.put(1,huancun_user);
}
// 蓝色代码注释结束
public User queryUser(Integer id){
    User user=userMap.get(id);
    if(user==null){
        user= userMapper.queryUser(id);
        System.out.println("查询数据库");
        userMap.put(user.getId(),user);
    }else{
        System.out.println("查询缓存");
    }
    return user;
};

}
SpringbootApplication代码

package com.itheima;

import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication
public class SpringbootApplication {

public static void main(String[] args) {
    SpringApplication.run(SpringbootApplication.class, args);
}

}
数据库里面的数据如下

-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS user;
CREATE TABLE user (
id int(11) NOT NULL AUTO_INCREMENT,
username varchar(50) DEFAULT NULL,
password varchar(50) DEFAULT NULL,
name varchar(50) DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Records of user
-- ----------------------------
INSERT INTO user VALUES ('1', 'zhangsan', '123', '张三');
INSERT INTO user VALUES ('2', 'lisi', '123', '李四');
然后我们查询下面的链接,因为此时上面的模拟redis的map集合里面没有id值是2的数据,所以此时都是查询数据库,你想这一下子10000并发过去,数据库会有很大压力的,

在这里插入图片描述

然后打印结果如下,就是打印了很多查询数据库和查询缓存,此时也就说明10000个并发里面有很多去查询了数据库,这个是要避免的,至于为什么有查询缓存的打印,因为我们把查询的数据给放到模拟的redis里面了啊,所以刚开始的一大部分线程都是查询数据库,然后剩下的都是查询模拟的redis缓存里面的数据

查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询数据库
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
然后我们使用双重检测锁来解决上面的缓存穿透
我们怎么解决缓存穿透呢,即使10000个并发过来,然后这10000个并发需要的数据在redis里面都没有,那么我们应该第一个线程查询数据里面的数据,然后把这个数据给放到redis里面,然后剩下的9999个线程都到redis里面查询,这样就解决了缓存穿透,所以我们可以把上面的代码变成下面这样

比如下面的代码
在这里插入图片描述

Pom.xml代码

<?xml version="1.0" encoding="UTF-8"?>

     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>

<groupId>com.example</groupId>
<artifactId>springboot</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>

<name>springboot</name>
<description>Demo project for Spring Boot</description>

<parent>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-parent</artifactId>
    <version>2.1.1.RELEASE</version>
    <relativePath></relativePath> <!-- lookup parent from repository -->
</parent>

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <java.version>1.8</java.version>
</properties>

<dependencies>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-devtools</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-test</artifactId>
        <scope>test</scope>
    </dependency>

    <dependency>
        <groupId>org.mybatis.spring.boot</groupId>
        <artifactId>mybatis-spring-boot-starter</artifactId>
        <version>1.1.1</version>
    </dependency>
    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
    </dependency>
</dependencies>

<build>
    <plugins>
        <plugin>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-maven-plugin</artifactId>
        </plugin>
    </plugins>
</build>


Application.properties

server.port=8081

DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8
spring.datasource.username=root
spring.datasource.password=root

spring集成Mybatis环境

pojo别名扫描包

mybatis.type-aliases-package=com.itheima.domain

加载Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml
MyController代码,下面的蓝色代码是模仿10000个并发线程

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;
import com.itheima.domain.User;
import com.itheima.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.PathVariable;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.ResponseBody;
import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

/**

  • @author xinzhu
  • @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $
    */

@RestController
public class MyController {

@Autowired
private UserService userService;

@RequestMapping("/hello/{id}")
@ResponseBody
public User queryUser(@PathVariable Integer id){
   // 蓝色代码注释开始
   new Thread(){
        @Override
        public void run() {
            for (int x = 0; x < 10000; x++) {
                userService.queryUser(id);
            }
        }

    }.start();
    // 蓝色代码注释结束

    return userService.queryUser(id);
}

}
User类

/**

  • sinture.com Inc.
  • Copyright (c) 2016-2018 All Rights Reserved.
    */

package com.itheima.domain;

/**

  • @author xinzhu
  • @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $
    */

public class User {

// 主键
private Integer id;
// 用户名
private String username;
// 密码
private String password;
// 姓名
private String name;

public void setId(Integer id) {
    this.id = id;
}

@Override
public String toString() {
    return "User{" +
            "id=" + id +
            ", username='" + username + '\'' +
            ", password='" + password + '\'' +
            ", name='" + name + '\'' +
            '}';
}

public Integer getId() {
    return id;
}
public String getUsername() {
    return username;
}
public void setUsername(String username) {
    this.username = username;
}

public String getPassword() {
    return password;
}
public void setPassword(String password) {
    this.password = password;
}

public String getName() {
    return name;
}

public void setName(String name) {
    this.name = name;
}

}
UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

public User queryUser(Integer id);

}
UserServiceImpl,下面的蓝色代码就是模仿redis,此时要注意下面的模拟redis的map集合必须放到下面的queryUser的外面,也就是说下面的userMap变量必须是成员变量,不然的话,因为redis是被多个线程共享的,如果你放到下面的queryUser()方法里面,那么就是多个线程有多个userMap集合,下面的代码就是如果查询到数据,那么就用redis里面的,如果查询不到就用数据库里面的

然后下面的红色代码就是解决上面的缓存穿透问题,使用锁来解决缓存穿透问题,而且叫做双重检测锁,为什么叫做双重检测锁呢,因为有两个if语句,第一个if语句就是为了减少走红色代码里面的同步代码块,因为如果换成里面存在想要的数据,那么就不需要走下面的红色代码里面的同步代码块了,所以有两个if语句,至于为什么要有下面的 user= userMap.get(id);,是因为第一次线程查询把数据放到模仿的redis缓存里面之后,剩下的线程当走到下面的同步代码块的时候,需要在查询一下缓存里面的数据就会发现刚刚第一个线程放到redis里面的数据了,所以才会有下面的红色代码里面的 user= userMap.get(id);

package com.itheima.service;

import com.itheima.domain.User;
import com.itheima.mapper.UserMapper;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

import java.util.HashMap;
import java.util.Map;

@Service
public class UserServiceImpl implements UserService {

@Autowired
private UserMapper userMapper;
// 蓝色代码注释开始
static Map<Integer,User> userMap=new HashMap();
static {
    User huancun_user =new User();
    huancun_user.setId(1);
    huancun_user.setName("zhangsan");
    huancun_user.setPassword("123");
    huancun_user.setName("张三");
    userMap.put(1,huancun_user);
}
// 蓝色代码注释结束
public User queryUser(Integer id){
    User user=userMap.get(id);
    // 红色代码注释开始
    if(user==null){
        synchronized (this) {
            user= userMap.get(id);
            if (null == user) {
                user= userMapper.queryUser(id);
                System.out.println("查询数据库");
                userMap.put(user.getId(),user);
            }else{
                System.out.println("查询缓存");
            }
        }
    }else{
        System.out.println("查询缓存");
    }
    //红色代码注释结束
    return user;
};

}
数据库里面的数据如下

-- ----------------------------
-- Table structure for user
-- ----------------------------
DROP TABLE IF EXISTS user;
CREATE TABLE user (
id int(11) NOT NULL AUTO_INCREMENT,
username varchar(50) DEFAULT NULL,
password varchar(50) DEFAULT NULL,
name varchar(50) DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------
-- Records of user
-- ----------------------------
INSERT INTO user VALUES ('1', 'zhangsan', '123', '张三');
INSERT INTO user VALUES ('2', 'lisi', '123', '李四');
然后我们查询下面的链接,因为此时上面的模拟redis的map集合里面没有id值是2的数据,所以此时都是查询数据库,你想这一下子10000并发过去,数据库会有很大压力的,
在这里插入图片描述
然后打印结果如下,就是就只有第一个打印了查询数据库,然后剩下的都是查询缓存了,这就是解决缓存穿透

查询数据库
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
查询缓存
能看到这里的同学,就帮忙点个推荐吧,Thanks(・ω・)ノ
原文地址https://www.cnblogs.com/mqk100/p/11319758.html

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore &nbsp; &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
1月前
|
缓存 算法 Java
Caffeine Cache~高性能 Java 本地缓存之王
Caffeine Cache~高性能 Java 本地缓存之王
54 1
|
1月前
|
缓存 Java
JAVA带缓存的输入输出流
JAVA带缓存的输入输出流
19 0
|
1月前
|
缓存 NoSQL 安全
【Redis】缓存穿透
【Redis】缓存穿透
30 0
|
4月前
|
存储 缓存 NoSQL
在Java中实现redis缓存中的布隆过滤器
在Java中实现redis缓存中的布隆过滤器
35 0
|
3月前
|
存储 缓存 NoSQL
redis之缓存穿透,击透,雪崩~
redis之缓存穿透,击透,雪崩~
|
8天前
|
缓存 NoSQL Java
使用Redis进行Java缓存策略设计
【4月更文挑战第16天】在高并发Java应用中,Redis作为缓存中间件提升性能。本文探讨如何使用Redis设计缓存策略。Redis是开源内存数据结构存储系统,支持多种数据结构。Java中常用Redis客户端有Jedis和Lettuce。缓存设计遵循一致性、失效、雪崩、穿透和预热原则。常见缓存模式包括Cache-Aside、Read-Through、Write-Through和Write-Behind。示例展示了使用Jedis实现Cache-Aside模式。优化策略包括分布式锁、缓存预热、随机过期时间、限流和降级,以应对缓存挑战。
|
17天前
|
存储 缓存 NoSQL
Java手撸一个缓存类似Redis
`LocalExpiringCache`是Java实现的一个本地缓存类,使用ConcurrentHashMap存储键值对,并通过ScheduledExecutorService定时清理过期的缓存项。类中包含`put`、`get`、`remove`等方法操作缓存,并有`clearCache`方法来清除过期的缓存条目。初始化时,会注册一个定时任务,每500毫秒检查并清理一次过期缓存。单例模式确保了类的唯一实例。
13 0
|
1月前
|
存储 缓存 NoSQL
[Redis]——缓存击穿和缓存穿透及解决方案(图解+代码+解释)
[Redis]——缓存击穿和缓存穿透及解决方案(图解+代码+解释)
154 0
|
1月前
|
缓存 NoSQL Java
【二十六】springboot整合jedis和redisson布隆过滤器处理缓存穿透
【二十六】springboot整合jedis和redisson布隆过滤器处理缓存穿透
52 0
|
1月前
|
存储 缓存 NoSQL
【Redis】3、Redis 作为缓存(Redis中的穿透、雪崩、击穿、工具类)
【Redis】3、Redis 作为缓存(Redis中的穿透、雪崩、击穿、工具类)
55 0