阿里云E-MapReduce 关注
手机版

开源大数据周刊-第107期

1月14日,英特尔人工智能大会(AIDC 2018)在北京国贸酒店举行。这是英特尔第三次在中国举行人工智能大会,也是第一次专门面向开发者和技...

云栖社区 深度学习 分布式 安全 hadoop Apache 人工智能 集群 mr spark 开源大数据 kafka big data Livy

使用ApacheDS对Presto用户进行认证

Presto可以对接LDAP,实现用户密码认证。只需要Coordinator节点对接LDAP即可。主要步骤如下: 1.配置ApacheDS...

java hadoop Apache 配置 集群 spark EMR Security ldap presto ApacheDS

HiveServer2集成LDAP做用户认证

HiveServer2支持多种认证方式,通过`hive.server2.authentication`参数来设置,包括`nosasl, no...

配置 集群 e-mapreduce JDBC Hive Transaction 认证 ldap HiveServer2

开源大数据周刊-第106期

Apache Kylin社区于日前宣布:Apache Kylin v2.5.1 正式发布!Apache Kylin 是一个开源的分布式分析引擎,提供 Hadoop 之上的 SQL 查询接口及多维分析(OLAP)能力,支持对超大规模数据进行亚...

云栖社区 深度学习 分布式 架构 算法 hadoop 性能 Apache spark 开源大数据 kylin big data Pulsar MMLSpark

开源大数据周刊-第105期

资讯 340亿美元收购红帽,IBM在拥挤的云市场另辟蹊径 Hadoop真的要死了吗?程序员的革命or灾难:机器人在GitHub修复bug、与人不相上下 基于TensorFlow Serving的深度学习在线预估 如期而至!谷歌开源...

云栖社区 深度学习 分布式 大数据 hadoop 人工智能 spark 流式计算 开源大数据 github TensorFlow 谷歌 NLP Streaming Uber

开源大数据周刊-第104期

资讯 谷歌、亚马逊、阿里纷纷入局,边缘计算的潜力如何? 从智能手机到可穿戴设备,从医疗到汽车以及工业制造,边缘计算正在上演一个又一个行业传奇,它的落脚点是要让终端成为更智慧的存在——能够实时处理数据、能够低延时做出反馈——这不就是我...

云栖社区 深度学习 分布式 大数据 Apache 数据仓库 spark 解决方案 开源大数据

开源大数据周刊-第103期

Google宣布在2016年发布的数据可视化工具Data Studio,以及2017年发布的的数据预先处理服务Cloud Dataprep,现在都正式可用。

大数据 redis 数据可视化 hadoop spark 开源大数据 大数据平台

开源大数据周刊-第102期

资讯 重磅:Cloudera、Hortonworks 合并 !两家大数据先驱Cloudera和Hortonworks今天宣布了它们所谓的相对平等的合并,声称将把两家公司合并成一家年收入达7.2亿美元的新实体。

大数据 hadoop 性能 互联网 流式计算 开源大数据 数据同步 存储 流计算

开源大数据周刊-第101期

资讯 微软、SAP和Adobe“结盟”提出开放数据计划很多企业无法更好地研究自己客户的用户行为,这是因为重要的客户信息都被中介和第三方服务商所掌控,被困在很多信息孤岛之中,这限制了这些企业从中获取更有价值的用户行为信息。

大数据 Apache 高可用 人工智能 数据安全 电商 spark 开源大数据 物联网 html 数据应用

开源大数据周刊-第100期

资讯 领英开源TonY:构建在Hadoop YARN上的TensorFlow框架领英在 YARN 上构建了一个 TensorFlow 框架 TonY 并将其开源。本文介绍了 TonY 的内部细节、领英实现并用来在 Hadoop 上扩展分...

云栖社区 深度学习 消息系统 大数据 机器学习 云计算 hadoop SQL spark 开源大数据 e-mapreduce EMR GPU TensorFlow kafka

SparkSQL自适应执行

阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能,用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

SQL reduce spark e-mapreduce adaptive statistics sparksql

开源大数据周刊-第99期

资讯 谷歌重磅开源强化学习框架Dopamine谷歌推出了一款全新的开源强化学习框架 Dopamine,该框架基于 TensorFlow,主打灵活性、稳定性、复现性,能够提供快速的基准测试。 整合AI和数据科学新利器:基于Apac...

云栖社区 深度学习 消息系统 大数据 安全 redis 架构 机器学习 云计算 hadoop SQL 日志 开源大数据 EMR flink

开源大数据周刊-第98期

产品资讯 E-MapReduce 发布新版工作流调度还在困惑怎么管理Hadoop,Hive,Spark等作业和项目,怎么灵活可靠的调度吗?从EMR工作流开始吧 E-MapReduce 发布弹性伸缩当你需要按照时间段弹性的添加计算节点,补...

大数据 算法 Apache 人工智能 开源 数据流 弹性伸缩 spark 开源大数据 e-mapreduce 数据中心 AI kafka flink ksql

开源大数据周刊-第97期

本期周刊带来了开源社区重要的产品更新,包括Flink和Alluxio等,还有互联网一线公司以及传统银行业的最新大数据应用实践。

大数据 架构 MongoDB Apache 人工智能 数据分析 spark 开源大数据 数据库存储 分布式存储 kylin 推荐引擎

一种堆外内存缓存策略加速数据写OSS

1. 背景介绍 EMR集群中作业写数据到OSS时,需要先将数据缓存在本地,然后再一次性上传到OSS中。EMR支持两种缓存策略: disk off-heap 两种缓存测试使用场景略有区别: 本地磁盘缓存策略适用到任何场景,且能满足较大文件上...

大数据 分布式系统与计算 OSS hadoop 性能 集群 测试 云盘 spark e-mapreduce 磁盘

E-MapReduce上如何采集Kafka客户端Metrics

我们知道Kafka提供一套非常完善的Metrics数据,覆盖Broker,Consumer,Producer,Stream以及Connect...

大数据 分布式系统与计算 Apache 配置 集群 消息中间件 测试 aliyun e-mapreduce EMR timestamp zookeeper bootstrap 存储 kafka

开源大数据周刊-2018年07月27日 第94期

资讯 谷歌Edge TPU专用芯片横空出世!抢攻IoT欲一统物联网江湖谷歌今天宣布推出用于边缘计算的Edge TPU,作为Cloud TPU的补充,目前Edge TPU仅用于推理,专为在边缘运行TensorFlow Lite ML模型而...

云栖社区 深度学习 大数据 安全 架构 机器学习 云计算 hadoop SQL 日志 开源大数据 EMR IOT ELK flink

E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

管理员:
鱼跟猫
1006
关注
14
成员
200
文章