1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. M>
  5. mongodb spark

当前主题:mongodb spark

MongoDB Spark Connector 实战指南

Why Spark with MongoDB? 高性能,官方号称 100x faster,因为可以全内存运行,性能提升肯定是很明显的 简单易用,支持 Java、Python、Scala、SQL 等多种语言,使得构建分析应用非常简单 统一构建 ,支持多种数据源

阅读全文

MongoDB + Spark: 完整的大数据解决方案

转一篇文章,貌似大数据解决方案这块,MongoDB和HDFS还要较量一番。http://www.mongoing.com/tj/mongodb_shanghai_spark 其余可参考的:http://blog.csdn.net/hellousb2010/a

阅读全文

阿里云MongoDB与EMR的HelloWorld

越来越多的应用采用MongoDB作为数据存储层,性能高,扩展性强,通过WriteCocern参数还可以控制写入持久级别,CAP上灵活配置。文档型的存储结构又是特别适合物联网,游戏等领域,这些数据也蕴藏这巨大的价值,就像是金矿一样,需要挖掘。虽然MongoDB

阅读全文

全新版本MongoDB数据存储席卷物联网

本文首先对物联网进行了模型抽象,着重和大家剖析了MongoDB解决方案,包括文档模型、高可用复制集、分片集群和Aggregation&MapReduce,最后分享了全新的MongoDB特性。 以下为内容整理: MongoDB是文档型数据库,其核心的三大优势是

阅读全文

时间序列数据和MongoDB:第一部分 - 简介

时间序列数据日益成为现代应用的核心 - 想想物联网,股票交易,点击流,社交媒体等。随着从批量处理系统向实时系统的转变,有效捕获和分析时间序列数据可以使组织在竞争对手之前更好地检测和响应事件,或提高运营效率以降低成本和风险。使用时间序列数据通常与常规应用程序数据

阅读全文

MongoDB 杭州用户会全记录(千寻位置、妈妈帮、阿里云专家等精彩分享)

MongoDB杭州用户交流会于2017年3月12日下午在阿里巴巴西溪园区举行,吸引了来自全国各地的近300名用户参与,千寻位置、妈妈帮、阿里云等公司的5位技术专家分享了MongoDB 的运维管理及使用经验,干货满满。 用户会进行过程中我已经在中文社区微信总群

阅读全文

如何在运行pyspark时加载本地jar包?

某内网项目需要测试spark和mongodb联调,因为不能连接外网,所以下载好了相应的jar包扔进去了。 官网给出的事例代码如下: ./bin/pyspark --conf "spark.mongodb.input.uri=mongodb://127.0.0

阅读全文

MongoDB资料大全

MongoDB是一个开源的、基于分布式的、面向文档存储的非关系型数据库。是非关系型数据库当中功能最丰富、最像关系数据库的。MongoDB由C++编写, MongoDB可以运行在Windows、unix、OSX、Solaris系统上,支持32位和64位应用,提

阅读全文

mongodb spark相关问答

查看更多 提问题

MongoDB和Spark:无法将STRING转换为TimestampType

我正在使用官方MongoDB Spark Connector从MongoDB集合中读取Spark中的数据,其代码如下: val spark = SparkSession. builder(). appN

阅读全文

spark操作mongodb遇到的问题

com.mongodb.spark.exceptions.MongoTypeConversionException: Cannot cast null into a StringType

阅读全文

mongodb与spark的整合,阿里云mongo可以和相关产品整合吗

mongodb与spark的整合,阿里云mongo可以和相关产品整合吗

阅读全文

[@徐雷frank][¥20]Mongodb在Spark和大数据领域中的实际应用和整合

你好,徐老师,我说在的公司是游戏公司。现在目前使用的是社区版最新mongodb,我们使用mongodb主要用于游戏玩家行为的一些日志记录,例如玩家的留存率,登陆信息,还有一些关卡的相关埋点统计数据等都会插入到mongodb中,然后我们现在是通过mongo语句进

阅读全文

如何使用条件查询Spark MongoDB-Connector?

最近我尝试使用官方文档中的 MongoDB-Connector, JavaMongoRDD<Document> rdd = MongoSpark.load(jsc); 但演示将加载我的集合中的所有数据, 我只想在我的java或scala代码中运行此命令

阅读全文

尝试将表上传到mongoDB时“缺少集合名称”

我正在尝试上传csv。文件我在HDFS上有mongoDB。我正在使用python脚本:https://i.imgur.com/G33sDaz.png 使用spark 2和命令:spark-submit --packages org.mongodb.spa

阅读全文

如何使用flink和spark,以及spark只是为了转换?

" 假设mongodb中有一个“商品”集合,如下所示: {name:""A"",attr:[""location"":""us""],""eventTime"":""2018-01-01""} {name:""B"",attr:[""brand"":

阅读全文

flink 有可以和mongodb集成的相关插件吗

转自钉钉群21789141:flink 有可以和mongodb集成的相关插件吗? 因为我们现在数据统计后台都是基于mongodb作为日志存储和mongodb原生语句统计的 因为我们预计到时候游戏正式上线估计这种查询统计顶不住 所以现在在想用spark和f

阅读全文