1. 云栖社区>
  2. 全部标签>
  3. #datahub#
datahub

#datahub#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

基于Apache Flume Datahub插件将日志数据同步上云

## 简介 Apache Flume是一个分布式的、可靠的、可用的系统,可用于从不同的数据源中高效地收集、聚合和移动海量日志数据到集中式数据存储系统,支持多种Source和Sink插件。本文将介绍如何使用Apache Flume的[Datahub Sink插件](https://github.

日志 LOG Apache 阿里技术协会 配置 agent aliyun 数据同步 离线分析 插件 type 数据存储 MaxCompute datahub 数据上云

基于OGG Datahub插件将Oracle数据同步上云

一、背景介绍 随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。 OGG(Oracle GoldenGate)是一个基于日志的结构化数据备份工具,一般用于Oracle数据

Oracle 日志 数据库 配置 同步 string 数据同步 插件 database MaxCompute datahub 数据上云

基于OGG Datahub插件将Oracle数据同步上云

## 一、背景介绍 >随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。 OGG(Oracle GoldenGate)是一个基于日志的结构化数据备份工具,一般用于Oracle数据库之间的主从备份以及Oracle数据库到其他数据库(DB2, MySQL等)的同步。

Oracle 日志 阿里技术协会 数据库 配置 同步 数据同步 插件 database MaxCompute datahub 数据上云

基于OGG Datahub插件将Oracle数据同步上云

## 一、背景介绍 >随着数据规模的不断扩大,传统的RDBMS难以满足OLAP的需求,本文将介绍如何将Oracle的数据实时同步到阿里云的大数据处理平台当中,并利用大数据工具对数据进行分析。 OGG(Oracle GoldenGate)是一个基于日志的结构化数据备份工具,一般用于Oracle数据库之间的主从备份以及Oracle数据库到其他数据库(DB2, MySQL等)的同步。

Oracle 日志 阿里技术协会 数据库 配置 同步 数据同步 插件 database MaxCompute datahub 数据上云

日志采集中的关键技术分析

从日志投递的方式来看,日志采集又可以分为推模式和拉模式,本文主要分析的是推模式的日志采集。

linux 阿里云 日志 配置 agent inotify 存储 文件 kafka ELK 日志采集 datahub loghub

大数据上云那些事儿:(一)上云工具的选择

阿里云•数加上如果要实现大数据上云,可选的工具有以下几种(如下图所示),主要分为批量加载工具和实时采集工具两大类。工具这么多,那么我应该选择哪一个呢? 首先第一就是确定您的业务场景对实时性的要求。 a) 如果是实时性要求不高,则采用批量加载类工具,定时完成批量数据加载即可。

大数据 阿里云 数加 logstash 同步 数据同步 MaxCompute DI datahub datax StreamCompute 数据上云 上云工具

通过Fluentd实时上传数据到DataHub实践

本文把我通过Flunetd,把数据上传到DataHub的配置过程记录下来,希望对大家在配置中能有帮助。

大数据 etl datahub fluentd

大数据workshop:《在线用户行为分析:基于流式计算的数据处理及应用》之《流数据采集:日志流数据解析及上传》篇

本手册为云栖大会Workshop之《在线用户行为分析:基于流式计算的数据处理及应用》场的《流数据采集:日志流数据解析及上传》篇所需。主要帮助现场学员熟悉并掌握阿里云DataHub的操作和使用。

大数据 云栖大会 workshop 流式计算 datahub 流数据

1
GO