1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. 看到topic数据

当前主题:看到topic数据

看到topic数据相关的博客

查看更多 写博客

SLS新版告警入门-监控OSS访问日志

背景客户A是一家多媒体类公司,主要产品有短视频App,用户可以在上面发短视频,其他用户可以看到用户发的短视频;客户A使用了阿里云OSS来存储用户产生的短视频;App每天的用户活动具有一定周期性,一般情况下深夜的PV较低,其他时段PV较高。一个典型的pv类似下图

阅读全文

日志数据如何同步到MaxCompute

摘要:日常工作中,企业需要将通过ECS、容器、移动端、开源软件、网站服务、JS等接入的实时日志数据进行应用开发。包括对日志实时查询与分析、采集与消费、数据清洗与流计算、数据仓库对接等场景。本次分享主要介绍日志数据如何同步到MaxCompute。具体讲解如何通

阅读全文

使用EMR-Kafka Connect进行数据迁移

1.背景 流式处理中经常会遇到Kafka与其他系统进行数据同步或者Kafka集群间数据迁移的情景。使用EMR Kafka Connect可以方便快速的实现数据同步或者数据迁移。 Kafka Connect是一种可扩展的、可靠的,用于在Kafka和其他系统之间

阅读全文

面对日近两百亿数据量,美图大数据平台如何建成?

如今大数据在各行业的应用越来越广泛:运营基于数据关注运营效果,产品基于数据分析关注转化率情况,开发基于数据衡量系统优化效果…… 美图公司有美拍、美图秀秀、美颜相机等十几个app,每个app都会基于数据做个性化推荐、搜索、报表分析、反作弊、广告等,整体对数据的业

阅读全文

Kafka数据迁移MaxCompute最佳实践

前提条件 搭建Kafka集群 进行数据迁移前,您需要保证自己的Kafka集群环境正常。本文使用阿里云EMR服务自动化搭建Kafka集群,详细过程请参见:Kafka 快速入门。 本文使用的EMR Kafka版本信息如下: EMR版本: EMR-3.12.1 集

阅读全文

图数据库综述与 Nebula 在图数据库设计的实践

Nebula Graph:一个开源的分布式图数据库。作为唯一能够存储万亿个带属性的节点和边的在线图数据库,Nebula Graph 不仅能够在高并发场景下满足毫秒级的低时延查询要求,还能够实现服务高可用且保障数据安全性。 第三期 nMeetup( nMeet

阅读全文

数据库分区:海量数据分区改造的玄与机

本文讲的是数据库分区:海量数据分区改造的玄与机国内最受关注的数据库技术盛会——2017第八届中国数据库技术大会(DTCC2017)于2017年5月11-13日如约而至。本届大会以“数据驱动?价值发现”为主题,汇集来自互联网、电子商务、金融、电信、政府、行业协会

阅读全文

flume写kafka topic覆盖问题fix

结构: nginx-flume->kafka->flume->kafka(因为牵扯到跨机房问题,在两个kafka之间加了个flume,蛋疼。。) 现象: 在第二层,写入kafka的topic和读取的kafka的topic相同,手动设定的sink topic不生

阅读全文

看到topic数据相关问答

提问题

datahub使用dataconnector同步到ads报错

将datahub的topic数据通过创建DataConnector的形式同步到ads,但是在ads的表中没有查询到数据,且在DataConnector的详情中看到运行状态为ERROR,有人知道如何查看ERROR的详细信息吗?

阅读全文

如何创建AvroDeserialzationSchema并在Flink Kafka Consumer中使用?

为kafka avro序列化主题创建一个flink消费者。我有kafka主题流avro序列化数据。我可以通过avroconsoleconsumer看到它。 Flink 1.6.0添加了AvroDeserializationSchema,但我找不到它的用法

阅读全文