1. 云栖社区>
  2. 全部标签>
  3. #Apache#
Apache

#Apache#

已有4人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Kafka实战(四) -Kafka门派知多少

Kafka不是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台 Storm/Spark Streaming/Flink,在大规模流处理领域主流 Kafka经过这么长时间不断的迭代,现在已经能够稍稍比肩这些框架 Kafka社区对于这些框架心存敬意 目前国内鲜有大厂将Kafka用于流处理的尴尬境地,毕竟Kafka是从消息引擎“半路出家”转型成流处理平台的,它在流处理方面的表现还需要经过时间的检验。

云栖社区 nginx 大数据 监控 Apache 集群 数据中心

Kafka实战(三) -Kafka的自我修养

Apache Kafka是消息引擎系统,也是一个分布式流处理平台(Distributed Streaming Platform) Kafka是LinkedIn公司内部孵化的项目。LinkedIn最开始有强烈的数据强实时处理方面的需求,其内部的诸多子系统要执行多种类型的数据处理与分析,主要包括业务系统和应用程序性能监控,以及用户行为数据处理等。

云栖社区 分布式 大数据 Apache 集群 spark 分布式存储

Java内存缓存-通过Google Guava创建缓存

谷歌Guava缓存 Guava介绍 Guava是Google guava中的一个内存缓存模块,用于将数据缓存到JVM内存中。实际项目开发中经常将一些公共或者常用的数据缓存起来方便快速访问。 Guava Cache是单个应用运行时的本地缓存。

java Apache Cache Guava Maven string google

“一次编码、到处运行”,淘宝云端一体化探索 | 8月23号云栖夜读

今天的首篇文章,讲述了:当前移动互联网业务研发运维模式,云与多端互相割裂,有些全栈的探索缺乏成功案例,行业对云端一体化研发这块仍是空白,我们要思考:如何能实现 1 个研发支撑云 + android + iOS 三端的业务快速落地。

分布式 架构 程序员 Apache 中间件 数据迁移 淘宝 aliyun

Apache Drill 常用Plugins配置

1.kafka { "type":"kafka", "kafkaConsumerProps":{ "bootstrap.servers":"hostname1:9092,hostname2:9092,hostname3:9092", "group.

云栖社区 mysql hbase hdfs Apache 配置 drill JDBC Driver Hive type kafka OpenTSDB kudu

修改代码150万行!Apache Flink 1.9.0做了这些重大修改!

阿里妹导读:8月22日,Apache Flink 1.9.0 正式发布。早在今年1月,阿里便宣布将内部过去几年打磨的大数据处理引擎Blink进行开源并向 Apache Flink 贡献代码。此次版本在结构上有重大变更,修改代码达150万行,接下来,我们一起梳理 Flink 1.9.0 中非常值得关注的重要功能与特性。

架构 Apache 模块 API Hive 流计算

SpringBoot2.0 整合 RocketMQ ,实现请求异步处理

一、RocketMQ简介 1、架构图片 2、角色分类 (1)、Broker RocketMQ 的核心,接收 Producer 发过来的消息、处理 Consumer 的消费消息请求、消息的持 久化存储、服务端过滤功能等 。

编程语言 java 消息队列 Apache 配置 logger string Annotation Consumer class

微服务开源生态报告 No.10

「微服务开源生态报告」,汇集各个开源项目近期的社区动态,帮助开发者们更高效的了解到各开源项目的最新进展。 社区动态包括,但不限于:版本发布、人员动态、项目动态和规划、培训和活动。 非常欢迎国内其他微服务领域的开源项目将近期的社区动态,投递给我们,我们将一同发布。

云栖社区 Cloud Apache spring 微服务 负载均衡 同步 单元测试 alibaba github

Apache Zookeeper常用命令

一.功能简述 Apache ZooKeeper是一种用于分布式应用程序的分布式开源协调服务;提供了命名服务、配置管理、集群管理、分布式锁、队列管理等一系列的功能 Ⅰ).角色功能 ZooKeeper主要包括leader、learner和client三大类角色,其中learner又分为follower和observer 功能描述 a).

云栖社区 大数据 服务器 hbase Apache 配置 集群 zookeeper 常用命令

Apache HBase常用命令

一.简述 Apache HBase是基于Apache Hadoop的面向列的NoSQL数据库,是Google的BigTable的开源实现。HBase是一个针对半结构化数据的开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的和面向列的动态模式数据库。

hbase hdfs hadoop Apache 分布式文件系统 数据结构 Mapreduce 存储 数据类型 常用命令 Aapache

阿里巴巴如何打造“EB级计算平台存储引擎”?

阿里妹导读:MaxCompute是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。MaxCompute的存储引擎基于开源的Apache ORC文件格式,打造了新一代列存文件格式AliORC。

大数据 算法 性能 c++ Apache 存储 MaxCompute

Dremio架构分析

一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。

云栖社区 架构 SQL Apache drill Hive metadata 存储 数据存储 Parquet Arrow dremio Carcite

Giraph源码分析(八)—— 统计每个SuperStep中参与计算的顶点数目

科研中,需要分析在每次迭代过程中参与计算的顶点数目,来进一步优化系统。比如,在SSSP的compute()方法最后一行,都会把当前顶点voteToHalt,即变为InActive状态。所以每次迭代完成后,所有顶点都是InActive状态。

大数据 算法 Apache 源码 static void input

Mybatis源码导读

mybatis官方demo代码如下 import org.apache.ibatis.mapping.Environment;import org.apache.ibatis.session.Configuration;import org.

Apache 源码 配置 string Transaction class session ibatis handler mybatis

Flink UDF自动注册实践

1.注册UDF函数1.1 注册相关方法此处,我们使用的udf函数为标量函数,它继承的是ScalarFunction,该类在我们的使用中,发现它继承自UserDefinedFunction这个类,该处的udf函数由用户自己定义,而函数的注册此处我们自己实现; 函数注册时,使用flink的tableE.

java 函数 Apache runtime string class UDF unit flink

Flink在大规模状态数据集下的checkpoint调优

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 今天接到一个同学的反馈问题,大概是: Flink程序运行一段时间就会报这个错误,定位好多天都没有定位到。

大数据 java hdfs hadoop Apache runtime Server 存储 flink

612
GO