1. 云栖社区>
  2. 全部标签>
  3. #分布式计算#
分布式计算

#分布式计算#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Spark入门介绍

前言 Spark自从2014年1.2版本发布以来,已成为大数据计算的通用组件。网上介绍Spark的资源也非常多,但是不利于用户快速入门,所以本文主要通从用户的角度来介绍Spark,让用户能快速的认识Spark,知道Spark是什么、能做什么、怎么去做。

安全与风控 大数据 hbase SQL 数据库 集群 spark aliyun 分布式计算 存储 Streaming 数仓 离线 x-pack

菜鸟的Hadoop快速入门

一、相关概念 1、大数据 大数据是一门概念,也是一门技术,是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架,还包括实时数据处理,离线数据处理,数据分析,数据挖掘和用机器算法进行预测分析等技术。

大数据 服务器 hdfs hadoop 高可用 配置 集群 分布式计算 磁盘 Mapreduce 存储

Hadoop生态系统

Hadoop生态系统 首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。

分布式 hbase hdfs hadoop 数据库 数据仓库 集群 数据挖掘 分布式计算 google 分布式文件系统 Hive 离线分析 zookeeper Mapreduce

搞懂分布式技术25:初探大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等。

分布式 大数据 storm hadoop Apache 数据处理 数据库 reduce 排序 spark 分布式计算 Hive Mapreduce 流计算

大数据平台测试

一.大数据平台测试简述 大数据平台测试包括2部分:基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持 大数据平台是否能够通过界面的形式方便用户进行非运行维护,主要包括集群的安装、监控、配置、操作等 大数据平台是否能够提供基本的安全方案 a).

hbase hadoop 性能 高可用 集群 排序 测试 分布式计算 分布式文件系统 Hive 性能测试 权限管理 大数据平台

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

云栖社区 系统软件 系统研发与运维 网络与数据通信 linux 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 分布式计算 安全问道

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

安全与风控 数据存储与数据库 移动开发与客户端 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 开源大数据 分布式计算 source 磁盘

2019年美团、滴滴、蘑菇街Java岗9次面试总结

无论什么事,如果不断收集材料,积之十年,总可成一学者!

分布式 大数据 redis Java核心技术 算法 java 源码 集群 Image spark 分布式计算 容灾 分布式存储 海量数据 Java面试

阿里云邮箱企业版怎么办理

。阿里云企业版邮箱申请,阿里云邮箱企业版开通,阿里云企业邮箱免费试用

云栖社区 系统软件 大数据 架构 互联网 人工智能 阿里云企业邮箱 分布式计算 物联网 分布式存储

Mars——基于张量的统一分布式计算框架

很高兴在这里宣布我们的新项目:Mars,一个基于张量的统一分布式计算框架。我们已经在 Github 开源:https://github.com/mars-project/mars 。 背景 Python Python 是一门相当古老的语言了,如今,在数据科学计算、机器学习、以及深度学习领域,Python 越来越受欢迎。

python 深度学习 分布式 大数据 算法 PyOdps pandas 分布式计算 actor scikit-learn tensor Numpy Mars ndarray cupy

阿里云发布边缘容器,云边端一体化时代来临

2019年6月26日KubeCon SH大会上,阿里云正式发布边缘容器(ACK@Edge)。边缘容器致力于实现云-边-端一体化协同,通过非侵入增强方式,完美拓展云原生的边界。 阿里云边缘容器已经顺利落地杭州‘亲橙里’智能楼宇项目,实现智慧停车、物业管理、人脸识别、千人千面等场景应用,这也是阿里云首次成功在IoT领域落地边缘容器,通过云原生方式提升IoT领域DevOps效率。

数据处理 基础设施 容器 分布式计算 云服务 物联网 IOT 云平台 存储 人脸识别 千人千面

欢迎加盟云智能数据库BigData NoSQL团队

数据库事业部承载着阿里巴巴及阿里云的数据库服务,为超过数万家中国企业提供专业的数据库服务。我们提供在线事务处理、缓存文档服务、BigData NoSQL服务 、在线分析处理的全栈数据库产品。本团队提供基于Apache HBasePhoenixSparkCassandraSolrES等,结合自研技术,打造存储、检索、计算的一站式的BigData NoSQL自主可控的服务,满足客户的数据驱动业务的诉求。

分布式 大数据 NOSQL hbase Apache 数据库 spark aliyun 分布式计算 Cassandra 分布式存储 存储 数据存储 在线分析

常见超参数调优工具

1.Skopt https://scikit-optimize.github.io/ 是一个超参数优化库,包括随机搜索、贝叶斯搜索、决策森林和梯度提升树。这个库包含一些理论成熟且可靠的优化方法,但是这些模型在小型搜索空间和良好的初始估计下效果最好。

深度学习 算法 函数 性能 分布式计算 并行计算 github 超参数调优

通过Spark SQL实时归档SLS数据

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。

大数据 hdfs SQL SLS 配置 spark 流式计算 分布式计算 离线分析 schema Create 实时数仓

一起探讨下零基础如何快速入门大数据技巧

教你零基础如何快速入门大数据技巧现在是大数据时代,很多人都想要学习大数据,因为不管是就业前景还是薪资都非常的不错,不少人纷纷从其他行业转型到大数据行业,那么零基础的人也想要学习大数据怎么办呢?下面一起探讨下零基础如何快速入门大数据技巧吧。

linux python 大数据 java javascript hadoop 数据库 人工智能 软件开发 集群 spark 多线程 分布式计算 分布式数据库

54
GO