1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka 读取hdfs数据库

当前主题:kafka 读取hdfs数据库

kafka 读取hdfs数据库相关的博客

查看更多 写博客

云数据库 ApsaraDB 产品总览

云数据库ApsaraDB是稳定可靠、可弹性伸缩的在线数据库服务产品总称。可轻运维全球90%以上主流开源及商业数据库(MySQL、SQL Server、Redis等),同时提供拥有6倍以上开源数据库性能、开源数据库价格的POLARDB和百TB级数据实时计算能力的HybridDB自研数据库等,更拥有容灾、备份、恢复、监控、迁移等方面的全套解决方案。

立即查看

Kafka消费者——从 Kafka读取数据

应用程序使用 KafkaConsumer向 Kafka 订阅主题,并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据,它涉及一些独特的概念和想法。如果不先理解 这些概念,就难以理解如何使用消费者 API。所以我们接下来先解释这

阅读全文

Mysql 流增量写入 Hdfs(一) --从 mysql 到 kafka

一. 概述 在大数据的静态数据处理中,目前普遍采用的是用 Spark + Hdfs (Hive / Hbase) 的技术架构来对数据进行处理。 但有时候有其他的需求,需要从其他不同数据源不间断得采集数据,然后存储到 Hdfs 中进行处理。而追加(append

阅读全文

Apache Kafka:大数据的实时处理时代

在过去几年,对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统:我们可以将每一次用户点击,每一个数据库更改,每一条日志的生成,都转化成实时的结构化数据流,更早的存储和分析它们,并从中获得价值。同时,越来越多的企业应用也开始从批处理数据平台

阅读全文

Apache Kafka:大数据的实时处理时代

在过去几年,对于 Apache Kafka 的使用范畴已经远不仅是分布式的消息系统:我们可以将每一次用户点击,每一个数据库更改,每一条日志的生成,都转化成实时的结构化数据流,更早的存储和分析它们,并从中获得价值。同时,越来越多的企业应用也开始从批处理数据平台

阅读全文

结构化大数据分析平台设计

前言  任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。大多数企业对内,对外有很多这样的

阅读全文

ETL数据导入/导出工具 HData(支持JDBC、Hive、HDFS、HBase、Kafka等)

HData是一个异构的ETL数据导入/导出工具,致力于使用一个工具解决不同数据源(JDBC、Hive、HDFS、HBase、MongoDB、FTP、Http、CSV、Excel、Kafka等)之间数据交换的问题。HData在设计上同时参考了开源的Sqoop

阅读全文

记录一次数据同步到数据仓库的架构与实践

背景 在数据仓库建模中,未经任何加工处理的原始业务层数据,我们称之为ODS(Operational Data Store)数据。在互联网企业中,常见的ODS数据有业务日志数据(Log)和业务DB数据(DB)两类。对于业务DB数据来说,从MySQL等关系型数据

阅读全文

数据仓库介绍与实时数仓案例

案例与解决方案汇总页:阿里云实时计算产品案例&解决方案汇总 PPT见附件 1.数据仓库简介 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Varia

阅读全文