1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. 实时数据采集

当前主题:实时数据采集

实时数据采集相关的博客

查看更多 写博客

数据中台的存储系统和计算平台枚举

作者:向师富 转自:阿里巴巴数据中台官网 https://dp.alibaba.com采集&传输层 Sqoop Hadoop、关系型数据库之间传输数据的工具。传输时,会启动多个MR作业并发的传输数据 DataX 阿里巴巴开源的数据同步工具,用来在各种异构数据

阅读全文

E-MapReduce 4.0产品新特性

演讲嘉宾:王晓平,花名子关,高级产品经理 视频回放地址:https://developer.aliyun.com/live/1402?spm=a2c6h.12873587.0.0.560314b8CiquAr 以下内容根据演讲视频以及PPT整理而成。 本次的

阅读全文

云原生存储的思考 (一)什么是云原生存储

云原生存储的思考 (一)什么是云原生存储 Abstract 最近有幸参加了有PingCap和CNCF组织的面向云原生面相持久化应用的Meetup,结合最近对云存储,开源存储,云原生存储的思考,对云原生存储到底是什么,需要做些什么,云原生存储未来挑战是什么,做

阅读全文

备战双十一 企业如何最佳实践上云?

备战双十一期间,企业如何最佳上云?阿里云解决方案最佳实践,是基于众多客户上云的成功案例萃取而成的最优化企业上云指导。每个最佳实践包括使用场景、多产品部署架构及部署手册。帮助客户更好地理解阿里云的产品和解决方案,降低企业上云门槛的同时满足客户自服务的需求。 !

阅读全文

独家揭秘 | 阿里怎么做双11全链路压测?

阿里妹导读:#技术双11系列#全链路压测是阿里的首创,我们将从工作内容、操作过程、运行总结等多个方向来介绍下阿里内部典型电商活动(如双11准备),以给大家展示一个完整的压测流程,帮助更多的企业和用户更好的完成性能测试。 前言 关于性能测试的重要性及必要性已经

阅读全文

带你读《企业数据湖》之二:数据湖概念概览

第2章数据湖概念概览 数据湖概念的诞生,源自企业面临的一些挑战,如数据应该以何种方式处理和存储。最开始,企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。最开始的时候,每个应用程序会产生、存储大量数据,而这些数据并不能被其他应用程序使用,这种状况

阅读全文

F5公司的负载均衡解决方案在银行中起什么作用?

  F5公司的负载均衡解决方案在银行中起什么作用?今天我们就来探讨一下这个问题。   我是民生银行的,我所在银行采用负载均衡解决方案实现了同城双活数据中心的业务部署和数据中心之间的业务快速切换,除此之外,在多个数据中心向两个新建数据中心整合的迁移、IP地址改

阅读全文

袋鼠云研发手记 | 数栈DTinsight:详解FlinkX中的断点续传和实时采集

袋鼠云云原生一站式数据中台PaaS——数栈,覆盖了建设数据中心过程中所需要的各种工具(包括数据开发平台、数据资产平台、数据科学平台、数据服务引擎等),完整覆盖离线计算、实时计算应用,帮助企业极大地缩短数据价值的萃取过程,提高提炼数据价值的能力。 数栈架构图

阅读全文

实时数据采集相关问答

查看更多 提问题

阿里云物联网平台客服电话打不通?

以下是阿里云物联网平台接入时的疑问。是在这里问吧?标签里没这个分类 1,web可视化概况里有说,完全托管无需用户额外购买服务器和数据库是什么意思? 如果想将采集的数据永久保存时,使用数据流转存入的云数据库不需要购买吗? 2,web可视化应用可以自定义域名是

阅读全文

MES上云,如何保证生产过程中数据采集不受网络延迟影响(工厂网络情况复杂,数据传递实时性要求高)?阿里是否是有端到云的离线同步方案?

MES上云,如何保证生产过程中数据采集不受网络延迟影响(工厂网络情况复杂,数据传递实时性要求高)?阿里是否是有端到云的离线同步方案?

阅读全文

业务数据的实时采集

对于存在oracle的业务数据如何实时采集?

阅读全文

linux系统采集到的数据如何实时传入到ODPS

linux系统采集到的数据如何实时传入到ODPS

阅读全文

实时计算 Flink的全链路示意是什么样的?

不同于现有的离线/批量计算模型,实时计算 Flink全链路整体上更加强调数据的实时性,包括数据实时采集、数据实时计算、数据实时集成。

阅读全文

flink如何计算设备离网

场景描述 设备工作期间每隔固定周期(比如30s)就往kafka发送采集到的数据,当设备超过15分钟没有上报数据,则认为设备离网了。如何每隔10分钟计算出设备在该10分钟时间段内的离网时长? 按我的理解(可能有错,请多指正),stream不设置windo

阅读全文

java如何实现html的实时采集

如题! html页面会一直保持连接状态,我这边不是指的Keep-Alive,Keep-Alive是需要后继请求的。 当html页面有更新时,不用后继请求并拿到更新数据过滤后入库。类似socket!当客户端发出信息时,服务器才会把这个信息输出,而不是向客户端无

阅读全文

实时绘图如何解决客户端与服务器时间基准同步?

我的网页采用Javascript绘制实时采集数据。 假设,实时采集的数据时间为Tcap;而网页的时间是Tdisp; 如果 Tdisp-Tcap 在(0~3)秒间,网页中会出现实时绘图。 但是如果Tdisp-Tcap > 3秒,就会出现绘图在窗外的

阅读全文