阿里云存储服务 + 关注
手机版

从Kafka实时同步数据到日志服务指南

日志服务支持从Kafka 数据源实时同步数据,用户能够在日志服务对数据进行实时查询分析,配置报表和告警等。

大数据 消息队列 日志 配置 同步 aliyun html 存储 日志分析 可视化报表

如何同步OSS Bucket数据到云存储网关SMB/NFS共享

云存储网关主要提供了反向同步和极速同步两种方法来同步OSS Bucket里面的数据到网关侧的共享里。本文将对这两种数据同步的方法均做下介绍,给出它们的实现原理以及分别适用的场景。反向同步是基于对文件夹进行全量扫描比对的方式来发现OSS Bu...

消息队列 OSS 用户体验 云存储 同步 NFS 数据同步 子文件 云存储网关 挂载OSS 极速同步 SMB共享 NFS共享 反向同步

云存储网关"NFS V4优化"选项详解

本文主要介绍了云存储网关的“NFS V4优化”选项的工作原理,如果您并没有需求必须使用NFSv3的方式挂载网关的NFS共享,建议您都以NFSv4的方式挂载并打开这个选项,从而获得更理想的文件上传效率。

OSS 云存储 同步 NFS 文件共享 云存储网关 NFSV4优化 Linux挂载OSS NFS挂载OSS NFSv3挂载OSS

使用Kafka Connect 同步Kafka数据到日志服务

使用Kafka Connect 同步Kafka数据到日志服务 简介 Kafka作为最流行的消息队列,在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后,再使用其他的软件如ElasticSearch进行分析。

大数据 日志 日志服务 Apache 配置 测试 同步 控制台 aliyun string PUT 插件 kafka 日志分析 Kafkaconnect

终极武器-阿里云VMware无代理迁移发布增量迁移功能

前文说到,阿里云提供了针对VMware的无代理整机迁移服务,试用下来亮点颇多,可以极大地提高VMware用户上云的效率。 但是考虑到大部分需要迁移的用户都有指定的切换窗口,需要迁移的时间更加可控,并且还有会有需要临时切换做验证的需求,开发...

云栖社区 系统软件 系统研发与运维 OSS ECS Image 同步 迁移 aliyun 数据同步 VMWare 搬站

新型肺炎疫情实时分析与可视化(直播)

使用日志服务提供的疫情分析App,免费开通与使用(2月11日发布),实时同步数据,支持更灵活的自定义交互式分析、可视化、仪表盘构建、钉钉告警、订阅等功能(完全免费)

日志 日志服务 Image 钉钉 同步 aliyun demo NCOV 疫情大盘 新型肺炎疫情

如何利用云存储网关搭建FTP服务器访问OSS存储

本文将介绍在linux服务器上如何通过在云存储网关共享上搭建FTP服务器来实现对OSS内数据的分发与共享。

系统研发与运维 linux 服务器 OSS 配置 ftp 云存储 Image 同步 控制台 NFS 存储 云存储网关

文件网关秒级同步OSS变更对象初体验

背景 文件网关提供与OSS对象1:1映射的文件服务,从文件网关挂载点写入的文件可以快速上传到OSS,但是OSS反向同步一直是个痛点。用户通过云控制台,OSS传输工具或者SDK上传变更了一个对象文件,如何让网关以及客户端的挂载点快速的感知到...

云栖社区 消息队列 OSS 同步 控制台 解决方案 云存储网关 文件网关 极速同步 OSS同步

混合云存储阵列与云存储网关的协同解决方案

混合云存储阵列与存储网关协同场景,核心是两个产品都具备连接OSS的能力,并能将数据缓存在存储阵列与存储网关上,从而在兼顾性能与成本的同时,给用户的混合云业务提供了最大可能的便捷与弹性。

安全 OSS 混合云 云存储 同步 控制台 弹性计算 解决方案 数据同步 数据备份 数据中心 云存储网关 混合云存储阵列 OSS备份 OSS数据备份

Fivetran:自动化数仓集成服务

Fivetran提供SaaS服务,它连接到业务关键数据源,提取并处理所有数据,然后将其转储到仓库中,以进行SQL访问和必要的进一步转换。

函数 加密 数据仓库 Image 同步 对象存储 schema 存储

Tablestore入门手册--全局二级索引使用

指定主键的前缀范围,可以实现对主表的范围扫描(GetRange),查询范围的指定必须和主键范围保持一致。如果查询范围无法表示成主键前缀的形式,则可以使用二级索引重新组合字段顺序。相比范围查询(GetRange)加过滤器(filter)的方式...

java TableStore request 同步 索引 表格存储 入门 二级索引

阿里云基于OSS的云上统一数据保护方案2.0技术解析

近年来,随着越来越多的企业从传统经济向数字经济转型,云已经渐渐成为数据经济IT新常态。核心业务系统上云,云上的业务创新,这些都产生了大量的业务数据,这些数据也成为了企业最重要的资产、资源。 阿里云基于OSS的云上统一数据保护方案2.0,...

架构 云存储技术 OSS 高可用 同步 对象存储 分布式存储 数据中心 存储 异地 数据保护

现代IM系统中的消息系统架构 - 模型篇

前言 在架构篇中我们介绍了现代IM消息系统的架构,介绍了Timeline的抽象模型以及基于Timeline模型构建的一个支持『消息漫游』、『多端同步』和『消息检索』多种高级功能的消息系统的典型架构。

消息系统 大数据 架构 NOSQL TableStore 同步 索引 ots index 表格存储

Tablestore+Delta Lake(快速开始)

本文介绍如何在E-MapReduce中通过Tablestore Spark Streaming Source将TableStore中的数据实时导入到Delta Lake中。 背景介绍 近些年来HTAP(Hybrid transactio...

TableStore hadoop 集群 主机 同步 spark aliyun e-mapreduce EMR 数据同步 表格存储 source 数据湖 deltalake

在NAS SMB卷上使用VisualSVN Server维护代码库

VisualSVN Server 是 Windows 平台上流行的 SVN 形式的代码管理工具。以下我们将介绍把 NAS SMB 卷作为 VisualSVN 代码库存储中心时会遇到的几个问题以及相应的解决方法。

云栖社区 数据存储与数据库 windows 配置 同步 SVN aliyun Server visual 文件存储服务 插件

如何在Linux上挂载OSS Bucket

阿里云OSS存储是由阿里云提供的高可用,大容量的对象存储系统,用户使用OSS来存储图片,视频,日志和其它的静态的数据文件。而很多用OSS存放文件的用户都希望能够在ECS或者线下的环境中直接挂载访问OSS中的数据。

linux OSS 性能 配置 集群 云存储 主机 Image 同步 控制台 对象存储 NFS 存储

利用云存储网关和混合云备份服务备份OSS数据

随着数据上云大潮愈演愈烈,越来越多的客户使用阿里云对象存储服务做为其在云上的数据存储仓库。阿里云OSS可以提供海量的存储空间,具有稳定可靠的特点,从而受到客户的广泛认可。为了确保数据的万无一失,防止一些人为的操作失误,很多客户都有强烈的需求...

架构 OSS windows 配置 云存储 同步 控制台 aliyun 数据备份 存储 云存储网关 混合云备份 OSS备份 OSS挂载

现代IM系统中的消息系统架构 - 实现篇

序 消息类场景是表格存储(Tablestore)主推的方向之一,因其数据存储结构在消息类数据存储上具有天然优势。为了方便用户基于Tablestore为消息类场景建模,Tablestore封装Timeline模型,旨在让用户更快捷的实现消息...

消息系统 架构 消息队列 request 同步 索引 string 表格存储 存储 im timeline 聊天系统

使用DTS同步MySQL增量数据到Tablestore

摘要 从MySQL到Tablestore的全量数据导出可以参考同系列文章《数据同步-从MySQL到Tablestore》,本文主要介绍将MySQL的增量数据同步到Tablestore的一种方式——使用阿里集团的数据传输服务DTS的数据订阅...

TableStore mysql 数据库 同步 aliyun 数据订阅 数据同步 html type dts 增量同步

基于Tablestore Tunnel的数据复制实战

### 前言 数据复制主要指通过互联的网络在多台机器上保存相同数据的副本,通过数据复制方案,人们通常希望达到以下目的:1)使数据在地理位置上更接近用户,进而降低访问延迟;2)当部分组件出现故障时,系统依旧可以继续工作,提高可用性;3)扩展...

分布式系统与计算 java 阿里技术协会 配置 同步 数据同步 插件 表格存储 数据复制 通道服务 全增量一体

3
GO
更多>
日志 aliyun 日志服务 存储 配置 OSS Image 数据存储与数据库 云栖社区 控制台 表格存储 SLS html 架构 对象存储 大数据 函数 LOG 日志分析 服务器 索引 TableStore 监控 云存储 Logtail 安全 分布式系统与计算 性能 SQL 分布式 数据库 阿里云 阿里技术协会 python 云存储技术 数据存储 HTTPS 集群 同步 java string 数据加工 ots ECS 解决方案 NOSQL Json 钉钉 报表 容器 高可用 windows 流计算 文件存储服务 etl 数据迁移 安全与风控 日志采集 云存储网关 mysql kubernetes 算法 NAS 加密 互联网产品及应用 数据采集 云盘 nginx sdk 文件存储 负载均衡 k8s linux Group cdn 运营 正则表达式 消息服务 数据处理 容灾 MNS API 数据中心 request Server 数据同步 电商 高性能 日志处理 数据分析 域名 最佳实践 云栖大会 系统研发与运维 物联网 数据备份 http 数组 数据安全 github 消息系统 备份 index 测试 工单 插件 数据管理 消息队列 docker 模块 对象存储OSS 线程 service RAM 分布式存储 loghub spark shell 前端与交互设计 syslog 安全问道 海量数据 高并发 移动开发与客户端 hbase 镜像 serverless 混合云存储 MaxCompute 带宽 stream 浏览器 type 帮助 性能优化 机器学习 云服务 可视化 基础设施 磁盘 hadoop 公共云 BY workshop NFS web 数据类型 TSDB 数据仓库 IOT timestamp 多线程 schema 互联网 js 弹性伸缩 test hdfs 脚本 csv faq Apache 系统软件 身份认证 微服务 弹性扩展 VPC url 用户体验 主机 分布式文件系统 异地 kafka 访问日志 按量付费 CLI 排序 Java核心技术 IIS 查询分析 logger Blink DDOS php Elasticsearch 常见问题 devOps google 公共云 source 深度学习 发布 DNS 混合云备份 归档存储 混合云 demo 网络安全 slb 分布式系统 离线分析 飞天 android ATA 表达式 STS trace VMWare 大数据分析 兼容性 Bash Access 函数计算 根目录 时序 EMR file RDS logstash 实时系统 系统盘 采集 Office 序列 多元索引 挂载OSS ossimport 大数据安全 云服务器ECS logging 态势感知 数据盘 轨迹 flink 人工智能 网络与数据通信 smb 客服 big OSS挂载 Feed流 data 日志收集 im 持续集成 分析 云原生 金融云