1. 云栖社区>
  2. 全部标签>
  3. #数据同步#
数据同步

#数据同步#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

数据中台之结构化大数据存储设计

对数据系统核心组件进行拆解,介绍每个组件下对应的开源组件以及云上产品。

大数据 架构 分布式系统与计算 NOSQL TableStore hbase 数据库 索引 离线计算 数据同步 存储 数据存储 流计算

唱吧基于 MaxCompute 的大数据之路

在使用 MaxCompute之前,唱吧使用自建体系来存储处理各端收集来的日志数据,包括请求访问记录、埋点数据、服务器业务数据等。但随着每天处理数据量的增长,积累的历史数据越来越多,来自其他部门同事的需求越来越复杂,自建体系逐渐暴露出了能力上的短板。

大数据 日志 Image 同步 云服务 离线计算 数据同步 自建机房 报表 数据统计 MaxCompute QuickBI

Mysql主从复制原理及搭建

MySQL主从复制的基础是主服务器对数据库修改记录二进制日志,从服务器通过主服务器的二进制日志自动执行更新。

架构 服务器 mysql 日志 LOG 数据库 配置 js 同步 aliyun 数据同步 replication

数据迁移工具DataX部署与使用

概述 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

数据存储与数据库 python 服务器 mysql Json 阿里技术协会 数据库 配置 测试 Maven 数据迁移 同步 数据同步 alibaba

表格存储Tablestore权威指南(持续更新)

表格存储本着提升用户体验的思路,打造《表格存储Tablestore权威指南》。为用户提供可借鉴的开发指导、经典案例。经典案例按照场景应用类型划分,目前提供五类场景:元数据、消息数据、轨迹溯源、科学大数据以及物联网;每个类型下都会提供多种经典场景。

TableStore 实战 用户体验 数据迁移 数据分析 aliyun 解决方案 物联网 数据同步 表格存储 数据管理 经典案例

阿里云HBase SQL一站式解决复杂查询难题

在大数据场景中,HBase由于其高吞吐,高并发,实时可见等特性往往被作为在线主存储,云HBase团队融合了在线存储引擎和全文引擎的优势,解决了针对在线大数据存储的复杂查询难题,并提供SQL统一表达,降低用户使用门槛。通过一站式产品能力,用户可以更加灵活高效地解决业务问题。

云栖社区 数据存储与数据库 分布式 大数据 分布式系统与计算 实时系统 hbase SQL 同步 solr 索引 数据同步 phoenix big data

一道真实的面试题 | 如何保证消息队列的高可用

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 面试题:如何保证消息队列的高可用? 面试官心理分析 如果你的简历里写了MQ,如果有人问到你 MQ 的知识,高可用是必问的。

云栖社区 分布式 大数据 消息队列 高可用 镜像 集群 同步 MQ 数据同步 面试题

浅谈数据同步之道

大数据 Image 数据同步

大白话讲解分布式里面的cap原则

什么叫做cap Cap分别指可用性,分区容错性,一致性 分区容错性 如下图中,G1 和 G2 是两台跨区的服务器。G1 向 G2 发送一条消息,G2 可能无法收到。系统设计的时候,必须考虑到这种情况。

分布式 java 服务器 cap 数据同步

探索Redis设计与实现15:Redis分布式锁进化史

Redis分布式锁进化史 近两年来微服务变得越来越热门,越来越多的应用部署在分布式环境中,在分布式环境中,数据一致性是一直以来需要关注并且去解决的问题,分布式锁也就成为了一种广泛使用的技术,常用的分布式实现方式为Redis,Zookeeper,其中基于Redis的分布式锁的使用更加广泛。

分布式 redis 算法 数据同步

搞懂分布式技术4:ZAB协议概述与选主流程详解

ZAB协议 ZAB协议是专门为zookeeper实现分布式协调功能而设计。zookeeper主要是根据ZAB协议是实现分布式系统数据一致性。

分布式 算法 服务器 zab 集群 同步 数据同步 分布式系统 Commit zookeeper

阿里云RPA(机器人流程自动化)精品系列之一:跨网机器人解决方案

本文是阿里云RPA精品系列的开篇之作,主要介绍跨网机器人解决方案的基本概念、技术架构、核心竞争力、适用场景以及实施交付过的一些成功案例,希望能帮助读者解决一些实际业务上的痛点,起到抛砖引玉的效果。

架构 人工智能 电商 aliyun 解决方案 数据同步 机器人 ipa 机器人流程自动化 跨网传输 数据同步机 内外网隔离 业务协同 可视化识别

Apache NiFi之MySQL数据同步到HBase

一.说明 将Apache NiFi做为关系型数据与非关系型数据库的数据同步工具使用,在此场景中需要将mysql导出的avro数据格式转化为json入库HBase 二.开拔 Ⅰ).配置ExecuteSQLRecord a).

mysql hbase Apache 数据库 配置 解决方案 Driver 数据同步 database 表空间 zookeeper NiFi

Apache NiFi之MySQL数据同步

一.简述 Apache NiFi是一个易用、强大、可靠的数据处理与分发系统,Apache NiFi的设计目标是自动化管理系统间的数据流Apache NiFi是美国国家安全局(NSA)开发和使用了8年的一个可视化、可定制的数据集产品。

mysql Apache 数据流 配置 数据同步 database 数据存储 MySQL数据同步 NiFi

Rainbond部署Mysql主从集群应用说明

本文简要说明了Mysql主从集群的工作原理和容器化部署的要点和运行方式,并结合Rainbond云应用平台进行部署。

服务器 mysql 日志 线程 数据库 配置 镜像 集群 中间件 容器 同步 脚本 数据同步 rainbond 主从集群

Apache Doris接入Kafka实时流数据

一.简述 Apache Doris是由百度的Palo项目开源而来,整体架构分为两层:多个 FE 组成第一层,提供 FE 的横向扩展和高可用;多个 BE 组成第二层,负责数据存储于管理。 FE 节点分为 follower 和 observer 两类。

Apache 高可用 数据库 数据同步 Create 存储 数据存储 流数据 Doris Palo

89
GO