1. 云栖社区>
  2. 全部标签>
  3. #数据同步#
数据同步

#数据同步#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Dataphin支持哪些数据源

作者:王腾业务数据存储是业务系统最基本的构成,构建数据中台,就是要将这些数据集中起来放到一个有更强算力的地方集中处理,所以对于数据集成的能力是构建数据中台最基本要求;从存储的发展历程来看,由于不同的业务场景需求,带来了数据存储的不同发展路径,在企业发展中随着业务规模的变化,也会选择不同的存储来支撑...

大数据 Oracle 数据流 配置 Image 数据分析 数据同步 存储 数据存储

《DNS稳定保障系列1--服务双保障“辅助DNS”产品介绍》

背景 2016 年 10 月 21 日,DNS 服务商 dyn 的服务器遭遇黑客大流量的 ddos 攻击,使得美国大量互联网公司如 twitter,github等都出现解析失败,无法提供服务。如下图可见,该事件造成了美国东海岸的网络瘫痪,媒体当时形容此次危机为“史上最大DDoS攻击”。

云栖社区 架构 服务器 域名 配置 域名解析 负载均衡 同步 单点故障 数据同步 容灾 test DNS 云解析 dns解析

使用datax迁移cassandra数据

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现各种异构数据源之间高效的数据同步功能。最近,阿里云cassandra团队为datax提供了cassandra读写插件,进一步丰富了datax支持的数据源,可以很方便实现cassandra之间以及cassandra与其他数据源之间的数据同步。

性能 配置 集群 钉钉 同步 迁移 Cassandra 数据同步 test 插件

如何在Hive中创建自定义函数UDF及如何直接通过Impala的同步元数据重用UDF的jar文件

如何在Hive中创建自定义函数UDF及使用 如何在Impala中使用Hive的自定义函数 UDF函数开发 使用Intellij工具开发Hive的UDF函数,进行编译;1.使用Intellij工具通过Maven创建一个Java工程,并添加pom.

hdfs hadoop 函数 Apache shell js 测试 同步 string Hive 数据同步 UDF Create

袋鼠云研发手记 | 数栈DTinsight:详解FlinkX中的断点续传和实时采集

数栈-离线开发平台(BatchWorks) 中的数据离线同步任务、数栈-实时开发平台(StreamWorks)中的数据实时采集任务已经统一基于FlinkX来实现。

服务器 mysql hdfs 日志 数据库 袋鼠云 同步 stream Hive 数据同步 插件 binlog 数据中台

源码分析 RocketMQ DLedger 多副本即主从切换实现原理

DLedger 基于 raft 协议,故天然支持主从切换,即主节点(Leader)发生故障,会重新触发选主,在集群内再选举出新的主节点。 RocketMQ 中主从同步,从节点不仅会从主节点同步数据,也会同步元数据,包含 topic 路由信息、消费进度、延迟队列处理队列、消费组订阅配置等信息。

分布式 消息系统 开发框架与中间件 线程 源码 集群 同步 数据同步 主从切换 RocketMQ DLedger 多副本

BDS-HA:构建高可用、低延迟的HBase服务

HBase可以支持百TB数据规模、数百万QPS压力下的毫秒响应,适用于大数据背景下的风控和推荐等在线场景。阿里云HBase服务了多家金融、广告、媒体类业务中的风控和推荐,持续的在高可用、低延迟、低成本方向上进行优化。

数据存储与数据库 大数据 hbase 高可用 配置 集群 控制台 数据同步 replication zookeeper BDS

推荐一款数据同步工具:FlinkX

FlinkX是基于flink的分布式离线数据同步框架,实现了多种异构数据源之间高效的数据迁移

hdfs hadoop 根目录 配置 集群 脚本 数据同步 插件 plugin restore 断点续传 flink 实时采集

MongoShake最佳实践

mongoshake最佳实践,到底该怎么玩?

数据存储与数据库 MongoDB 配置 集群 同步 数据同步 alibaba 存储 github

表格存储Tablestore权威指南(持续更新)

表格存储本着提升用户体验的思路,打造《表格存储Tablestore权威指南》。为用户提供可借鉴的开发指导、经典案例。经典案例按照场景应用类型划分,目前提供五类场景:元数据、消息数据、轨迹溯源、科学大数据以及物联网;每个类型下都会提供多种经典场景。

TableStore 实战 用户体验 数据迁移 数据分析 aliyun 解决方案 物联网 数据同步 表格存储 数据管理 经典案例

Tablestore+Delta Lake(快速开始)

本文介绍如何在E-MapReduce中通过Tablestore Spark Streaming Source将TableStore中的数据实时导入到Delta Lake中。 背景介绍 近些年来HTAP(Hybrid transaction/analytical processing)的热度越来越高,通过将存储和计算组合起来,既能支持传统的海量结构化数据分析,又能支持快速的事务更新写入,是设计数据密集型系统的一个成熟的架构。

TableStore hadoop 集群 主机 同步 spark aliyun e-mapreduce EMR 数据同步 表格存储 source 数据湖 deltalake

源码分析Elastic-Job前置篇二-基于Spring启动序列图与核心类图

本文主要目的:简单梳理了基于 Spring ElasticJob 的启动流程,从下文开始,将重点剖析 ElasticJob 的核心实现细节,例如选主、分片、失效转移机制等等。 1、在Spring中使用Elastic-Job的示例如下: <job:simple id="areaSyncJob" cl...

分布式 Java核心技术 开发框架与中间件 服务器 源码 spring 序列 数据同步 quartz 分布式调度 elasticjob

通过Datax将CSV文件导入Hbase,导入之前的CSV文件大小和导入之后的Hadoop分布式文件大小对比引入的思考

由于项目需要做系统之间的离线数据同步,因为实时性要求不高,因此考虑采用了阿里的datax来进行同步。在同步之前,将数据导出未csv文件,因为需要估算将来的hbase运行的hadoop的分布式文件系统需要占用多少磁盘空间,因此想到了需要做几组测试。

python 分布式 hbase hadoop random reduce string 分布式文件系统 数据同步 CPU index 磁盘 type csv

混合事务分析处理“HTAP”的技术要点分析

HTAP是近些年来比较火的一个概念,本文将聊聊HTAP的前世今生及技术特点。

数据存储与数据库 架构 数据处理 高可用 数据库 Image 索引 OLAP 数据同步 存储 数据类型 海量数据 数据应用

低成本打造一个带宽无限的网站

免费空间大多有宽带限制,因此速度通常不怎么理想。不过,我们只需对网站做些改造,就能充分利用这些资源,从而打造出一个宽带无限的网站 —— 即使遇到 DDOS 攻击甚至服务器关闭,也可以让部分用户正常访问!

网络安全 算法 HTTPS 前端 负载均衡 脚本 数据同步 带宽 github Geek

90
GO