阿里云存储服务 + 关注
手机版

实时计算最佳实践:基于表格存储和Blink的大数据实时计算

表格存储是阿里云自研的NoSQL多模型数据库,提供PB级结构化数据存储、千万TPS以及毫秒级延迟的服务能力。在实时计算场景里,表格存储强大的写入能力和多模型的存储形态,使其不仅可以作为计算结果表,同时也完全具备作为实时计算源表的能力。

架构 分布式系统与计算 消息队列 性能 SQL 阿里技术协会 数据库 流式计算 aliyun 表格存储 varchar 存储 流计算 Blink

Tablestore结合Blink公共云使用手册

前言 本文将介绍在Blink实时计算平台建立以Tablestore作为流计算的源表以及结果表作业的流程。 表格存储通道服务 表格存储通道服务是基于表格存储(Tablestore)数据接口之上的全增量一体化服务,它通过一组Tunne...

数据存储与数据库 分布式系统与计算 TableStore ots 表格存储 流计算 Blink 公共云

日志服务数据加工的设计与实践

在日志类数据成为生产资料得到越来越多关注的今天,日志服务数据加工抽象了规整、分发、富化等操作,帮助数据在阿里云服务和开源生态间流动起来,让日志分析变得更容易。

分布式系统与计算 etl 日志 日志服务 SLS 数据处理 数据采集 存储

基于对象存储 OSS 的智能数据分析处理框架和功能

今年参加了 2019 全球闪存峰会(Flash Memory World),分享了“基于云存储的智能数据分析处理架构”,重点介绍在对象存储 OSS 之上的数据处理功能,现整理相关内容和大家探讨。

数据存储与数据库 分布式系统与计算 OSS 阿里技术协会 互联网 数据分析 aliyun 对象存储 数据中心 带宽 移动互联网 存储 存储卸载计算框架

【2019 云栖大会】对象存储海量数据管理和应用最佳实践

2019 云栖大会"下一代云存储技术与最佳实践专场",分享“对象存储海量数据管理和应用最佳实践” 议题,重点介绍对象存储 OSS 的架构原理、数据管理、最佳实践。

分布式 架构 分布式系统与计算 OSS 云栖大会 阿里技术协会 数据处理 云存储 数据迁移 aliyun 对象存储 带宽 html 数据管理

结构化大数据分析平台设计

前言  任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。

云栖社区 编程语言 数据存储与数据库 分布式 大数据 Java核心技术 架构 开发框架与中间件 分布式系统与计算 hbase hdfs 数据库 big data 大数据分析

结构化大数据分析平台设计

## 前言  任何线上系统都离不开数据,有些数据是业务系统自身需要的,例如系统的账号,密码,页面展示的内容等。有些数据是业务系统或者用户实时产生的,例如业务系统的日志,用户浏览访问的记录,系统的购买订单,支付信息,会员的个人资料等。

分布式 大数据 Java核心技术 架构 分布式系统与计算 hbase hdfs 阿里技术协会 数据处理 数据库 集群 大数据分析 计算平台 分析平台

在 NAS SMB 卷上搭建 IIS + WordPress + MYSQL

上述步骤完成之后 WordPress 和 MySQL 都能够在 NAS SMB 卷上存储,不用担心存储容量问题和数据可用性问题。

云栖社区 数据存储与数据库 分布式系统与计算 mysql windows WordPress 数据库 IIS Sqlserver aliyun 文件存储服务 弹性扩展 存储

数据中台之结构化大数据存储设计

对数据系统核心组件进行拆解,介绍每个组件下对应的开源组件以及云上产品。

大数据 架构 分布式系统与计算 NOSQL TableStore hbase 数据库 索引 离线计算 数据同步 存储 数据存储 流计算

海量结构化数据存储技术揭秘:Tablestore存储和索引引擎详解

前言 表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库。Tablestore在阿里云官网上有各种文档介绍,也发布了很多场景案例文章,这些文章收录在这个合集中《表格存储Table...

数据存储与数据库 系统研发与运维 分布式 架构 分布式系统与计算 TableStore 数据库 索引 表格存储 数据结构 存储 数据存储

IoT+Tablestore快速构建智能售货机应用

### 一、 背景介绍         近年来,物联网(IoT)技术发生了巨大的变化。NB-IoT、LoRa等技术的产生解决了网络覆盖、设备功耗成本问题;尤其是最近5G技术的商用,意味着支持海量设备连接进行高质量数据通讯即将有坚实的基...

数据存储与数据库 架构 分布式系统与计算 监控 NOSQL TableStore 阿里技术协会 aliyun 物联网 IOT 表格存储 规则引擎 智能售货机

如何将Elasticsearch的快照备份至OSS

前言 Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎。它可以在近实时条件下,存储,查询和分析海量的数据。它还支持将快照备份至HDFS/S3上面,而阿里云OSS兼容S3的API,本文将介绍如何使用ES的Rep...

云栖社区 数据存储与数据库 分布式系统与计算 OSS Guide 索引 open Elasticsearch test curl Bash

基于Tablestore Tunnel的数据复制实战

### 前言 数据复制主要指通过互联的网络在多台机器上保存相同数据的副本,通过数据复制方案,人们通常希望达到以下目的:1)使数据在地理位置上更接近用户,进而降低访问延迟;2)当部分组件出现故障时,系统依旧可以继续工作,提高可用性;3)扩展...

分布式系统与计算 java 阿里技术协会 配置 同步 数据同步 插件 表格存储 数据复制 通道服务 全增量一体

对话阿里云Alex Chen:下一代存储应如何面对云转型?

如何定义下一代存储标准?在阿里云智能存储产品资深总监Alex Chen看来,其本质必须具备以下四个特性:安全稳定、优化、无缝上云、智能。

llvm 深度学习 安全 网络安全 架构 分布式系统与计算 性能优化 飞天 加密 性能 数据安全 云存储 云盘 存储

存储类型千千万,安全可靠又能挖掘数据价值的怎么甄选?

【最新动态】 为数据计算提供强力引擎,阿里云文件存储 HDFS 公测 在2019年3月的北京峰会上,阿里云正式推出全球首个云原生 HDFS 存储服务—文件存储 HDFS ,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸...

云栖社区 互联网产品及应用 深度学习 安全 分布式系统与计算 OSS hdfs 性能 日志 云盘 aliyun 对象存储 版本管理 分布式架构 存储

TableStore:用户画像数据的存储和查询利器

TableStore是阿里云自研的在线数据平台,提供高可靠的存储,实时和丰富的查询功能,适用于结构化、半结构化的海量数据存储以及各种查询、分析。 用户画像数据是一种数据规模较大、数据结构复杂、查询种类多的数据,是公司差异化运营的基础,是打...

数据存储与数据库 互联网产品及应用 php 分布式 架构 分布式系统与计算 java 性能优化 解决方案 索引 string 分布式系统 存储 数据存储 海量数据

TableStore: 海量结构化数据分层存储方案

### 前言 表格存储是阿里云自研分布式存储系统,可以用来存储海量结构化、半结构化的数据。表格存储支持高性能和容量型两种实例类型。高性能使用SSD的存储介质,针对读多写多的场景都有较好的访问延时。容量型使用的是SSD和SATA混合的存储介...

数据存储与数据库 架构 分布式系统与计算 阿里技术协会 同步 高性能 表格存储 存储

Apache Hadoop 2.7如何支持读写OSS

背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop 2.9.x系列也支持OSS。

大数据 分布式系统与计算 OSS hdfs hadoop Apache 配置 reduce file read Mapreduce

2018 年度阿里云存储十大新闻盘点篇

数据量的爆炸式增长和企业对数据价值挖掘的渴求,让存储市场迎来前所未有的发展机遇。在过去的一年中,我们看到工业制造、在线教育、智能驾驶、基因生命科学、医疗健康、安防监控等行业正加速从数字化到智能化的转型升级,在存储空间持续增长的同时,也对存储...

安全与风控 数据存储与数据库 互联网产品及应用 大数据 分布式系统与计算 云存储技术 云栖大会 阿里技术协会 数据安全 云存储 数据迁移 存储 数据价值 智能 稳定

使用Logstash将日志导入OSS

前言 logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的 “存储库” 中。 目前logstash已经支持了很多输入和输出插件,本文主要介绍如何使用logstash outpu...

云栖社区 数据存储与数据库 大数据 分布式系统与计算 OSS 日志 数据处理 配置 logstash 控制台 aliyun 插件 charset index prefix

3
GO
更多>
日志 aliyun 日志服务 存储 配置 OSS Image 数据存储与数据库 云栖社区 控制台 表格存储 SLS html 架构 对象存储 大数据 函数 LOG 日志分析 服务器 索引 TableStore 监控 云存储 Logtail 安全 分布式系统与计算 性能 SQL 分布式 数据库 阿里云 阿里技术协会 python 云存储技术 数据存储 HTTPS 集群 同步 java string 数据加工 ots ECS 解决方案 NOSQL Json 钉钉 报表 容器 高可用 windows 流计算 文件存储服务 etl 数据迁移 安全与风控 日志采集 云存储网关 mysql kubernetes 算法 NAS 加密 互联网产品及应用 数据采集 云盘 nginx sdk 文件存储 负载均衡 k8s linux Group cdn 运营 正则表达式 消息服务 数据处理 容灾 MNS API 数据中心 request Server 数据同步 电商 高性能 日志处理 数据分析 域名 最佳实践 云栖大会 系统研发与运维 物联网 数据备份 http 数组 数据安全 github 消息系统 备份 index 测试 工单 插件 数据管理 消息队列 docker 模块 对象存储OSS 线程 service RAM 分布式存储 loghub spark shell 前端与交互设计 syslog 安全问道 海量数据 高并发 移动开发与客户端 hbase 镜像 serverless 混合云存储 MaxCompute 带宽 stream 浏览器 type 帮助 性能优化 机器学习 云服务 可视化 基础设施 磁盘 hadoop 公共云 BY workshop NFS web 数据类型 TSDB 数据仓库 IOT timestamp 多线程 schema 互联网 js 弹性伸缩 test hdfs 脚本 csv faq Apache 系统软件 身份认证 微服务 弹性扩展 VPC url 用户体验 主机 分布式文件系统 异地 kafka 访问日志 按量付费 CLI 排序 Java核心技术 IIS 查询分析 logger Blink DDOS php Elasticsearch 常见问题 devOps google 公共云 source 深度学习 发布 DNS 混合云备份 归档存储 混合云 demo 网络安全 slb 分布式系统 离线分析 飞天 android ATA 表达式 STS trace VMWare 大数据分析 兼容性 Bash Access 函数计算 根目录 时序 EMR file RDS logstash 实时系统 系统盘 采集 Office 序列 多元索引 挂载OSS ossimport 大数据安全 云服务器ECS logging 态势感知 数据盘 轨迹 flink 人工智能 网络与数据通信 smb 客服 big OSS挂载 Feed流 data 日志收集 im 持续集成 分析 云原生 金融云