1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. 数据获取

当前主题:数据获取

业务系统从阿里云物联网平台获取设备数据的3种方案

在企业IoT业务场景中,往往需要将设备上报到IoT物联网平台的数据进行加工处理,存储到数据库中,以便供业务系统使用。物联网平台提供了3种获取数据的方式: -通过阿里云POP API获取设备数据 -通过HTTP/2服务端订阅取设备数据 -通过规则引擎配置流转数

阅读全文

UAVStack JVM监控分析工具:图形化展示采集及分析监控数据

引言 作为AllInOne的智能化服务技术栈,UAVStack提供了非常全面的监控数据采样功能,同时支持数据监控与预警。近期,我们整合了原有的数据采集展示功能,新增JVM分析功能,推出了更易用的JVM监控分析工具。 熟悉JDK的开发者都知道,JDK本身提供了

阅读全文

使用小程序Serverless开发支付宝小程序

Serverless简介 阿里云小程序云产品,提供了无服务端模式Serverless和有服务端模式云应用,两种小程序后端云服务。小程序Serverless产品,提供包括云函数、数据存储、文件存储等一整套后端服务。开发者通过API方式即可获取云函数、数据存储、文

阅读全文

基于Shard-Jdbc分库分表,数据库扩容方案

本文源码:GitHub·点这里 || GitEE·点这里 一、数据库扩容 1、业务场景 互联网项目中有很多“数据量大,业务复杂度高,需要分库分表”的业务场景。 这样分层的架构 (1)上层是业务层biz,实现业务逻辑封装; (2)中间是服务层service,封

阅读全文

通过设备标签实现设备地理分布展示(GIS)最佳实践

前言 在物联网场景中,设备会部署在不同的位置,而在施工前又很难确定设备位置,后续业务又需要根据设备信息做管理。这种场景我们可以通过IoT物联网平台提供的设备动态打标签功能,让程序实现,避免人工录入错误。 我们以智能自动售货柜管理为例,给大家展示设备标签功能。

阅读全文

RPA开发教程 | RPA邮件自动化技巧

原文地址:https://www.uibot.com.cn/news-5-1234.html 最近笔者帮客户做了一个关于邮件处理的RPA项目,因为整个业务流程涉及的面比较多,实现起来确实需要考虑不少问题,所以特此做一下RPA邮件自动化技巧总结与分享。 大概R

阅读全文

阿里云“数字星球引擎”遥感技术平台开放邀测

近日,2019杭州云栖大会上,阿里云宣布“数字星球引擎”暨卫星遥感数据和增值服务平台已经开始全面提供测试邀请。 阿里云智能数字政府公共事业部总经理陈峥介绍,卫星遥感数据获取频次高、数据量呈指数级增长、高价值信息的挖掘需要强大算力和机器智能,在城市违章建筑提取

阅读全文

源码分析ElasticJob故障失效转移机制

本节将探讨ElasticJob故障失效转移机制。我们知道ElasticJob是一款基于Quartz的分布式任务调度框架,这里的分布式是数据的分布式,ElasticJob的核心设计理念是一个任务在多个节点上执行,每个节点处理一部分数据(任务待处理数据分片)。那

阅读全文

数据获取相关问答

查看更多 提问题

大佬们,最近写的使用selenium 无头模式爬取数据的无法获取数据了,对方网站加了对无头浏览器的反爬措施,请问这个如何破?

大佬们,最近写的使用selenium 无头模式爬取数据的无法获取数据了,对方网站加了对无头浏览器的反爬措施,请问这个如何破?

阅读全文

oss bucketName 服务器加密问题

<Error> <Code>InvalidArgument</Code> <Message>KMSMasterKeyID is not applicable if user is not in white list</Message> <Re

阅读全文

请问 在钉钉PC端用aixos跨域加headers.Authorization可以获取到数据 手机端没办法 什么情况?

请问 在钉钉PC端用aixos跨域加headers.Authorization可以获取到数据,但在钉钉手机端没法获取到数据,改用jQuery的ajax也是PC端可以获取到数据,手机端没法获取到数据,在手机端,后端是先获取到options的请求,而不是get请求

阅读全文

java调用钉钉接口获取数据有时出现java.net.UnknownHostException: oapi.dingtalk.com异常

在钉钉中自建日志表单,在用户提交日志后。使用java调用接口获取日志数据,偶尔会出现java.net.UnknownHostException: oapi.dingtalk.com这个异常,日志中的图片获取不到。![QQ_20190611161108](h

阅读全文

钉钉的人脸数据自己的公司可以获取到吗?

本问题来自云栖社区【阿里Java技术进阶2群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

阅读全文

spark消费kafka 从kafka拉取数据部分Task特变慢

项目中使用了sparkStreaming去消费kafka中的数据。 发现了个问题,kafka一共30个分区,会起30个Task去拉取数据。在某些消费批次中会有个别Task从Kafka分区中拉取数据特别慢比别的Task慢了近10倍。直接拖慢了整个处理时

阅读全文

keras中的lstm模型怎么分time-step输入?

大家好,我有个训练好了的lstm模型(Keras),进行正向传播的时候都是构建一个(n_samples, time_steps,feature_dims)的数据矩阵进行predict,但是现在我的每个time_step的数据是分时获得的,能否获取一个time_

阅读全文

请教下大家,cassandra 集群中gossip信息交换相关问题 1. 集群发现是通过seeds节点主动去pull呢 还是节点各自固定频率交换信息; 2. 某个节点接受数据时,此时是主动push,还是按固定频率,节点pull获取信息。 这个我没有找到相关官方文档,求教于大家告知下

请教下大家,cassandra 集群中gossip信息交换相关问题 1. 集群发现是通过seeds节点主动去pull呢 还是节点各自固定频率交换信息; 2. 某个节点接受数据时,此时是主动push,还是按固定频率,节点pull获取信息。 这个我没有找到相关

阅读全文