1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. spark rest api

当前主题:spark rest api

利用 Spark DataSource API 实现Rest数据源

引子 先说下这个需求的来源。通常在一个流式计算的主流程里,会用到很多映射数据,譬如某某对照关系,而这些映射数据通常是通过HTTP接口暴露出来的,尤其是外部系统,你基本没有办法直接通过JDBC去读库啥的。 上面是一个点,其次是从HTTP读到的JSON数据,我其实

阅读全文

我所理解的REST API

打开微信扫一扫,关注微信公众号【数据与算法联盟】 转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 (欢迎互撩) Github:https://github.com/

阅读全文

Services and State with Ambari REST API

The Ambari management tool for Hadoop offers among other handy tools a comprehensive REST API for cluster administration. Logical

阅读全文

Flink#了解Flink 新一代大数据处理引擎 Apache Flink

大数据计算引擎的发展 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火

阅读全文

Spark与HBase的整合

前言 之前因为仅仅是把HBase当成一个可横向扩展并且具有持久化能力的KV数据库,所以只用在了指标存储上,参看很早之前的一篇文章基于HBase做Storm 实时计算指标存储。这次将HBase用在了用户行为存储上,因为Rowkey的过滤功能也很不错,可以很方便的

阅读全文

StreamingPro

Declarative workflows for building Spark Streaming Spark Streaming Spark Streaming is an extension of the core Spark API that enab

阅读全文

【Spark Summit East 2017】Spark:将数据科学作为服务

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps。 本讲义出自S

阅读全文

Data Processing with SMACK: Spark, Mesos, Akka, Cassandra, and Kafka

Data Processing with SMACK: Spark, Mesos, Akka, Cassandra, and Kafka This article introduces the SMACK (Spark, Mesos, Akka, Cassa

阅读全文