1. 云栖社区>
  2. 全部标签>
  3. #分布式计算#
分布式计算

#分布式计算#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

浅谈分布式计算的开发与实现(二)

实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事件了。

云栖社区 编程语言 分布式 redis Java核心技术 java storm 消息队列 程序员 流式计算 分布式计算 离线计算 磁盘 后端开发

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。

云栖社区 编程语言 分布式 架构 java 消息队列 hdfs hadoop 程序员 配置 reduce 分布式计算 离线计算 容灾 Mapreduce

好程序员大数据学习路线Hadoop学习干货分享

  好程序员大数据学习路线Hadoop学习干货分享,Apache Hadoop 为可靠的,可扩展的分布式计算开发开源软件。 Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集(海量的数据)。

分布式 大数据 hdfs hadoop 程序员 模块 数据处理 高可用 集群 主机 容器 分布式计算 单点故障 分布式文件系统

Spark入门介绍

前言 Spark自从2014年1.2版本发布以来,已成为大数据计算的通用组件。网上介绍Spark的资源也非常多,但是不利于用户快速入门,所以本文主要通从用户的角度来介绍Spark,让用户能快速的认识Spark,知道Spark是什么、能做什么、怎么去做。

安全与风控 大数据 hbase SQL 数据库 集群 spark aliyun 分布式计算 存储 Streaming 数仓 离线 x-pack

菜鸟的Hadoop快速入门

一、相关概念 1、大数据 大数据是一门概念,也是一门技术,是以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。 大数据包括了以Hadoop和Spark为代表的基础大数据框架,还包括实时数据处理,离线数据处理,数据分析,数据挖掘和用机器算法进行预测分析等技术。

大数据 服务器 hdfs hadoop 高可用 配置 集群 分布式计算 磁盘 Mapreduce 存储

Hadoop生态系统

Hadoop生态系统 首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。

分布式 hbase hdfs hadoop 数据库 数据仓库 集群 数据挖掘 分布式计算 google 分布式文件系统 Hive 离线分析 zookeeper Mapreduce

搞懂分布式技术25:初探大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等。

分布式 大数据 storm hadoop Apache 数据处理 数据库 reduce 排序 spark 分布式计算 Hive Mapreduce 流计算

大数据平台测试

一.大数据平台测试简述 大数据平台测试包括2部分:基础能力测试和性能测试 Ⅰ).基础能力测试 大数据平台的基本功能和数据的导入导出对SQL任务、NoSQL任务、机器学习、批处理任务的支持 大数据平台是否能够通过界面的形式方便用户进行非运行维护,主要包括集群的安装、监控、配置、操作等 大数据平台是否能够提供基本的安全方案 a).

hbase hadoop 性能 高可用 集群 排序 测试 分布式计算 分布式文件系统 Hive 性能测试 权限管理 大数据平台

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

云栖社区 系统软件 系统研发与运维 网络与数据通信 linux 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 分布式计算 安全问道

Apache Spark3.0什么样?一文读懂Apache Spark最新技术发展与展望

阿里巴巴高级技术专家李呈祥带来了《Apache Spark 最新技术发展和3.0+ 展望》的全面解析,为大家介绍了Spark在整体IT基础设施上云背景下的新挑战和最新技术进展,同时预测了Spark 3.0即将重磅发布的新功能。

安全与风控 数据存储与数据库 移动开发与客户端 深度学习 大数据 性能 Apache 数据仓库 Cache Image spark 开源大数据 分布式计算 source 磁盘

2019年美团、滴滴、蘑菇街Java岗9次面试总结

无论什么事,如果不断收集材料,积之十年,总可成一学者!

分布式 大数据 redis Java核心技术 算法 java 源码 集群 Image spark 分布式计算 容灾 分布式存储 海量数据 Java面试

阿里云邮箱企业版怎么办理

。阿里云企业版邮箱申请,阿里云邮箱企业版开通,阿里云企业邮箱免费试用

云栖社区 系统软件 大数据 架构 互联网 人工智能 阿里云企业邮箱 分布式计算 物联网 分布式存储

Mars——基于张量的统一分布式计算框架

很高兴在这里宣布我们的新项目:Mars,一个基于张量的统一分布式计算框架。我们已经在 Github 开源:https://github.com/mars-project/mars 。 背景 Python Python 是一门相当古老的语言了,如今,在数据科学计算、机器学习、以及深度学习领域,Python 越来越受欢迎。

python 深度学习 分布式 大数据 算法 PyOdps pandas 分布式计算 actor scikit-learn tensor Numpy Mars ndarray cupy

阿里云发布边缘容器,云边端一体化时代来临

2019年6月26日KubeCon SH大会上,阿里云正式发布边缘容器(ACK@Edge)。边缘容器致力于实现云-边-端一体化协同,通过非侵入增强方式,完美拓展云原生的边界。 阿里云边缘容器已经顺利落地杭州‘亲橙里’智能楼宇项目,实现智慧停车、物业管理、人脸识别、千人千面等场景应用,这也是阿里云首次成功在IoT领域落地边缘容器,通过云原生方式提升IoT领域DevOps效率。

数据处理 基础设施 容器 分布式计算 云服务 物联网 IOT 云平台 存储 人脸识别 千人千面

55
GO