阿里云存储服务 + 关注
手机版

使用Kafka Connect 同步Kafka数据到日志服务

使用Kafka Connect 同步Kafka数据到日志服务 简介 Kafka作为最流行的消息队列,在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后,再使用其他的软件如ElasticSearch进行分析。

大数据 日志 日志服务 Apache 配置 测试 同步 控制台 aliyun string PUT 插件 kafka 日志分析 Kafkaconnect

数据中台赋能云成本管理(1):创建账单项目

背景 在成本管家中,SLS提供了云产品账单的数据,通过SLS强大的分析和可视化能力,帮助客户分析云产品账单,优化成本。在发布后在客户中间引起强烈的反馈,不少客户要求在账单中增加实例名,Tag,资源用量等信息,通过更多维度数据做分账。

java LOG 云服务器 request aliyun string static source 成本管家 成本管家2.0

Tablestore入门指南-GetRange范围查询详解

查询接口 表格存储Tablestore作为大数据存储服务,提供了多种数据输出接口,主要包含: 单行读(GetRow)、 批量读(BatchGetRow)、 范围读(GetRange)、多元索引检索(Search)以及通道服务的数据订阅...

java TableStore 索引 string 表格存储 入门手册 GetRange

Tablestore结合Spark的流批一体SQL实战

背景介绍 电子商务模式是指在网络环境和大数据环境下基于一定技术基础的商务运作方式和盈利模式,对于数据的分析和可视化是电商运营中最重要的部分之一,而电商大屏提供了数据分析和可视化的完美结合。电商大屏包含有全量订单和实时订单的聚合,全量订单的...

大数据 TableStore SQL 电商 spark string 表格存储 Create timestamp type Access 流计算 流批一体

Tablestore入门手册--数据管理

为了让表格存储 Tablestore 用户更好的了解产品数据管理能力以及SDK使用,本文将结合代码讲述数据管理的功能与使用方式。本文仅讲述主表数据的管理使用,并非Tablestore全部的数据管理能力。

java TableStore string 表格存储 数据管理 入门手册 SDK使用

基于 Tracing 数据的拓扑关系生成原理

背景 随着互联网架构的流行,越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力,开发者可以完整地了解一次请求的执行过程和详细信息。

分布式 架构 trace spark string Cassandra Elasticsearch index 存储 云原生 cncf 分布式追踪 OpenTracing Jaeger

通过EMR Spark Streaming实时读取Tablestore数据

本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。 场景设计 随着互联网的发展,企业中积累的数据越来越多,数据的背后隐藏着巨大的价值,在双十一这样的节日中,电子商务企业都会在大屏幕上实时显示订单总量,由...

TableStore hadoop 集群 主机 spark aliyun e-mapreduce string EMR type sparkstreaming datasource 通道服务

现代IM系统中的消息系统架构 - 实现篇

序 消息类场景是表格存储(Tablestore)主推的方向之一,因其数据存储结构在消息类数据存储上具有天然优势。为了方便用户基于Tablestore为消息类场景建模,Tablestore封装Timeline模型,旨在让用户更快捷的实现消息...

消息系统 架构 消息队列 request 同步 索引 string 表格存储 存储 im timeline 聊天系统

Azure Data Explorer(Kusto)学习笔记

Azure在2018年推出了Data Explorer产品,提供实时海量流数据的分析服务(非流计算),面向应用、网站、移动端等设备。以下是对于该产品的解读和学习笔记。

Image string Create database timestamp 存储 日志分析 流数据 时序分析 ADE Kusto

[函数计算] Serverless 微服务实践-移动应用包分发服务

移动应用的打包和分发呈现明显的峰谷效用,用户常常需要短时间内准备大量资源保障分发的实时性,完成分发后又需要及时释放资源,降低成本。本次分享将介绍如何通过函数计算构建 Serverless 架构的包分发服务,在开发运维效率,性能和成本间取得良...

移动开发与客户端 java OSS 函数 Apache 微服务 Maven Image aliyun string test cmd serverless 函数计算

基于Tablestore的海量保险单查询平台

背景 随着人们风险意识的提高与普及,越来越多的人愿意为自己与家人投一份保险,保险行业的飞速发展也带来了许多问题:海量的保险单该如何存储?如何高效地对保险单进行检索?传统的解决方案一般使用MySQL等关系型数据库对数据进行持久化与检索,但...

数据存储与数据库 信息检索算法/实践 Java核心技术 java 实时系统 mysql 索引 string 存储 数据类型

药品监管系统架构揭秘:海量溯源数据存储与查询

前言 在刚刚过去的2018年,“毒疫苗”事件再次触及了大众的敏感神经,因为十年前的“毒奶粉”事件还历历在目。我们急需创建一个全国性的药品(食品)监控追踪体系。与此同时,近年来随着国家对医药行业的大力支持,中国的医疗事业也出现了跨越式的发展...

数据存储与数据库 分布式 架构 阿里技术协会 索引 string 表格存储 存储 数据存储 轨迹 TSDB 时序 溯源 药品 监管码

基于TableStore的海量气象格点数据解决方案实战

前言 气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。

数据存储与数据库 分布式 大数据 Java核心技术 解决方案 索引 string exception 存储 气象

函数计算新功能-----支持C#函数

前言 函数计算作为新兴的事件驱动serverless平台正受到越来越多开发者的欢迎,之前已支持Java, Python, Nodejs, Php四种语言。现在函数计算正式支持C#。由于其和Java类似的功能以及和Windows的紧密集成,...

函数 request aliyun string c# static Core class void handler serverless 函数计算 dotnetcore

TableStore:用户画像数据的存储和查询利器

TableStore是阿里云自研的在线数据平台,提供高可靠的存储,实时和丰富的查询功能,适用于结构化、半结构化的海量数据存储以及各种查询、分析。 用户画像数据是一种数据规模较大、数据结构复杂、查询种类多的数据,是公司差异化运营的基础,是打...

数据存储与数据库 互联网产品及应用 php 分布式 架构 分布式系统与计算 java 性能优化 解决方案 索引 string 分布式系统 存储 数据存储 海量数据

TableStore: 海量结构化数据实时备份实战

# TableStore: 海量结构化数据实时备份实战 ## 数据备份简介 在信息技术与数据管理领域,备份是指将文件系统或数据库系统中的数据加以复制,一旦发生灾难或者错误操作时,得以方便而及时地恢复系统的有效数据和正常运作。

阿里技术协会 string 数据备份 表格存储 存储 Backup 海量数据 增量备份 RTO RPO

TableStore多元索引复合类型的使用诀窍:array还是nested

对主表中需要查询的列(Column)建立多元索引,即可通过该列的值查询数据。索引列分为基本类型和复合类型,本文详细介绍两种复合类型——数组类型(array)和嵌套类型(nested)的使用。

数据存储与数据库 NOSQL TableStore 阿里技术协会 request 索引 string 数组

TableStore:交通数据的存储、查询和分析利器

TableStore是阿里云自研的在线数据平台,提供高可靠的存储,实时和丰富的查询功能,适用于结构化、半结构化的海量数据存储以及各种查询、分析。 交通数据是一种数据规模大,实时性要求高的数据,数据的专业性极强,对社会生产的价值极大,我们接...

数据存储与数据库 架构 阿里技术协会 解决方案 索引 string 分布式系统 存储 数据存储 海量数据

海量智能元数据管理系统实现解析

一、方案背景 用户存储海量的文档、媒体文件等数据的同时,对文件元数据(Mate)的管理不可或缺。元数据拥有多维度的字段信息,基本信息包含文件大小、创建时间、用户等。随着人工智能的发展,通过AI技术提取文件核心要素也成为文件元数据的重要信息...

工单 Image 控制台 aliyun 索引 string 表格存储 数据管理 元数据 多元索引 嵌套文本

Spark读写OSS并使用OSS Select来加速查询

Spark读写OSS 基于这篇文章搭建的CDH6以及配置,我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法,不再赘述)。 由于默认Spark并没有将OSS的支持包放到它的CLASSPATH里面,所以我们需要执行如下命...

云栖社区 分布式 大数据 分布式系统与计算 OSS SQL Apache spark scala aliyun string schema Access csv input

2
GO
更多>
日志 aliyun 日志服务 存储 配置 OSS Image 数据存储与数据库 云栖社区 控制台 表格存储 SLS html 架构 对象存储 大数据 函数 LOG 日志分析 服务器 索引 TableStore 云存储 监控 Logtail 安全 性能 分布式系统与计算 SQL 分布式 数据库 阿里云 阿里技术协会 python 云存储技术 数据存储 HTTPS 集群 同步 java string 数据加工 ots 解决方案 ECS NOSQL Json 钉钉 报表 容器 高可用 windows 流计算 文件存储服务 etl 数据迁移 安全与风控 日志采集 云存储网关 mysql kubernetes 算法 云盘 NAS 加密 互联网产品及应用 数据采集 nginx sdk Group 文件存储 负载均衡 k8s linux cdn 运营 正则表达式 消息服务 数据处理 容灾 高性能 MNS API 数据中心 request Server 数据同步 电商 日志处理 数据分析 域名 最佳实践 云栖大会 系统研发与运维 物联网 数据备份 http 数组 数据安全 github 消息系统 备份 index 测试 工单 插件 数据管理 消息队列 分布式存储 docker 模块 对象存储OSS 线程 service RAM loghub spark shell 前端与交互设计 syslog 安全问道 海量数据 高并发 移动开发与客户端 hbase 镜像 基础设施 serverless 混合云存储 MaxCompute BY 带宽 stream 浏览器 type 帮助 性能优化 机器学习 云服务 可视化 磁盘 hadoop 公共云 workshop NFS web 数据类型 TSDB 数据仓库 IOT timestamp 多线程 用户体验 schema 互联网 js 弹性伸缩 test hdfs 脚本 csv faq Apache 系统软件 身份认证 微服务 弹性扩展 VPC url 主机 分布式文件系统 异地 kafka 访问日志 source 按量付费 CLI 排序 Java核心技术 IIS 查询分析 logger Blink 飞天 DDOS php Elasticsearch 常见问题 devOps google 公共云 深度学习 发布 RDS DNS 混合云备份 归档存储 混合云 demo 网络安全 slb 分布式系统 离线分析 android ATA 表达式 STS trace VMWare 大数据分析 兼容性 Bash Access 函数计算 根目录 时序 EMR file logstash 实时系统 系统盘 采集 Office 序列 多元索引 挂载OSS ossimport 大数据安全 云服务器ECS logging 态势感知 数据盘 轨迹 flink 人工智能 网络与数据通信 smb 客服 big OSS挂载 Feed流 data 日志收集 im 持续集成 分析 云原生 金融云