发布时间:2020-06-11 07:46:33 浏览:778 回帖 :0
# 一、Kafka集群环境 ## 1、环境版本 ``` 版本:kafka2.11,zookeeper3.4 ``` **注意**:这里zookeeper3.4也是基于集群模式部署。 ## 2、...
发布时间:2020-06-08 21:36:26 浏览:950 回帖 :0
一、索引简介 1、基本概念 首先要明确索引是什么:索引是一种数据结构,数据结构是计算机存储、组织数据的方式,是指相互之间存在一种或多种特定关系的数据元素的集合,例如:链表,堆栈,队列,二叉树等等。 ...
发布时间:2020-06-04 21:46:41 浏览:285 回帖 :0
一、异步处理 1、异步概念 异步处理不用阻塞当前线程来等待处理完成,而是允许后续操作,直至其它线程将处理完成,并回调通知此线程。 必须强调一个基础逻辑,异步是一种设计理念,异步操作不等于多线程,MQ...
发布时间:2020-06-02 22:10:35 浏览:186 回帖 :0
一、数据可视化 1、基础概念 数据可视化,是关于数据视觉表现形式的科学技术研究。其中,这种数据的视觉表现形式被定义为,一种以某种概要形式抽取出来的信息,包括相应信息单位的各种属性和变量。 如果说的实...
发布时间:2020-05-30 09:42:20 浏览:813 回帖 :0
# 一、场景分析 ## 1、场景案例 互联网行业的朋友一定了解或者听说过下列几个场景: **阿里**:千人千面,意思不同用户使用阿里相关的产品感觉是不一样的,例如支付宝首页的推荐内容,和其他相关...
发布时间:2020-05-26 21:19:46 浏览:219 回帖 :0
一、缓存设计 1、缓存的作用 在业务系统中,查询时最容易出现性能问题的模块,查询面对的数据量大,筛选条件复杂,所以在系统架构中引入缓存层,则是非常必要的,用来缓存热点数据,达到快速响应的目的。 缓存...
发布时间:2020-05-22 21:40:34 浏览:211 回帖 :0
一、幂等性概念 1、幂等简介 编程中一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。就是说,一次和多次请求某一个资源会产生同样的作用影响。 2、HTTP请求 遵循Http协议的...
发布时间:2020-05-18 07:46:07 浏览:281 回帖 :0
一、列式库简介 ClickHouse是俄罗斯的Yandex公司于2016年开源的列式存储数据库(DBMS),主要用于OLAP在线分析处理查询,能够使用SQL查询实时生成分析数据报告。 列式存储 行...
发布时间:2020-05-16 10:53:56 浏览:178 回帖 :0
一、概念简介 1、线程通信 在操作系统中,线程是个独立的个体,但是在线程执行过程中,如果处理同一个业务逻辑,可能会产生资源争抢,导致并发问题,通常使用互斥锁来控制该逻辑。但是在还有这样一类场景,任务...
发布时间:2020-05-11 07:50:27 浏览:650 回帖 :0
一、框架简介 1、基础简介 Zookeeper基于观察者模式设计的组件,主要应用于分布式系统架构中的,统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等场景。 Li...
发布时间:2020-05-06 07:53:05 浏览:811 回帖 :0
一、DataX工具简介 1、设计理念 DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据...
发布时间:2020-04-28 07:48:00 浏览:321 回帖 :0
一、全局ID简介 在实际的开发中,几乎所有的业务场景产生的数据,都需要一个唯一ID作为核心标识,用来流程化管理。比如常见的: 订单:order-id,查订单详情,物流状态等; 支付:pay-id,...
发布时间:2020-04-26 09:34:48 浏览:670 回帖 :0
一、PostgreSQL简介 1、和MySQL的比较 PostgreSQL是一个功能强大的且开源关系型数据库系统,在网上PostgreSQL和MySQL一直有大量的对比分析。大多从性能,开源协议,S...
发布时间:2020-04-21 15:13:22 浏览:233 回帖 :0
一、数据拆分概念 1、场景描述 随着业务发展,数据量的越来越大,业务系统越来越复杂,拆分的概念逻辑就应运而生。数据层面的拆分,主要解决部分表数据过大,导致处理时间过长,长期占用链接,甚至出现大量磁盘...
发布时间:2020-04-17 07:51:08 浏览:398 回帖 :0
一、分布式简介 1、架构简介 现在的互联网,几乎常见的复杂系统都会使用分布式架构,如果在不清楚概念之前,刚接触分布式架构这个名词会感觉十分的高大上,其实在对比单服务,集群服务之后,你就会发现本质上都...
发布时间:2020-04-14 07:45:28 浏览:364 回帖 :0
一、数据同步简介 1、场景描述 如果经常接触数据开发,会有这样一个场景,服务A提供一个数据源,假设称为动态数据源A,需要读取该数据源下的数据;服务B提供一个数据源,假设称为动态数据源B,需要写入数据...
发布时间:2020-04-12 12:47:38 浏览:820 回帖 :0
一、PostgreSQL简介 1、数据库简介 PostgreSQL是一个功能强大的开源数据库系统,具有可靠性、稳定性、数据一致性等特点,且可以运行在所有主流操作系统上,包括Linux、Unix、Wi...
发布时间:2020-04-07 22:15:39 浏览:328 回帖 :0
一、关系型数据源 1、动态数据源 动态管理数据源的基本功能:数据源加载,容器维护,持久化管理。 2、关系型数据库 不同厂商的关系型数据库,提供的链接方式,驱动包,驱动类名都是不一样的,Java数据...
发布时间:2020-04-05 15:45:02 浏览:498 回帖 :0
一、服务器性能简介 1、性能定义 服务器性能优化是一项非常艰巨的任务,当然也是很难处理的问题,在写这篇文章的时候,特意请教下运维大佬,硬件工程师,数据库管理,单从自己的实际开发经验来看,看待这个问题...
发布时间:2020-04-01 07:44:28 浏览:648 回帖 :0
一、多数据源应用 1、基础描述 在相对复杂的应用服务中,配置多个数据源是常见现象,例如常见的:配置主从数据库用来写数据,再配置一个从库读数据,这种读写分离模式可以缓解数据库压力,提高系统的并发能力和...