1. 云栖社区>
  2. 全部标签>
  3. #并行计算#
并行计算

#并行计算#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

大数据hadoop从入门到精通之hadoop家族产品

作为一个hadoop入门级的新手,你会觉得哪些地方很难呢?运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起,一次安装搞定所有,那对于新手来说将是件多么美妙的事情!

编程语言 分布式 大数据 架构 storm hbase hdfs hadoop 数据处理 spark 分布式计算 分布式架构 分布式文件系统 并行计算 Hive

了解的CAP和BASE等理论

CAP,BASE和最终一致性是NoSQL数据库存在的三大基石。而五分钟法则是内存数据存储的理论依据。这个是一切的源头。 几个名词解释: 网络分区:俗称“脑裂”。当网络发生异常情况,导致分布式系统中部分节点之间的网络延时不断变大,最终导致组成分布式系统的所有节点中,只有部分节点之间能够进行正常通信,而另一些节点则不能。

性能 数据库 cap 集群 并行计算 分布式系统 磁盘 存储

机票分享第二篇 机票计算过程及时间复杂度(国内篇)

机票搜索过程:按照请求的条件,取得对应的运价、规则、座位,三者匹配并计算出票价,排序选择优先价格并展示。主要代价花在其中的匹配步骤,也是本篇介绍的重点。匹配和计算都位于计算层。 一、国内机票单程 1、三层循环做运价*规则*座位的笛卡尔积来实现匹配,并计算代理商机票销售价 2、时间复杂度 选取B...

排序 并行计算

Spark性能测试报告与调优参数

1、代码中尽量避免group by函数,如果需要数据聚合,group形式的为rdd.map(x=>(x.chatAt(0),x)).groupbyKey().mapValues((x=>x.toSet.size)).collection() 改为 rdd.map(x=>(x.chatAt(0),x)).countByKey();或进行reduceByKey,效率会提高3倍。

监控 测试 spark Driver 并行计算 性能测试 磁盘

吴恩达《机器学习》课程总结(17)大规模机器学习

17.1大型数据集的学习 首先通过学习曲线判断是否增大数据集有效: 高方差时(交叉验证集误差减去训练集误差大时)增加数据集可以提高系统。下图中左图增加数据集有效,右图无效。 17.2随机梯度下降法 随机梯度下降法是只使用一个样本来迭代,其损失函数为: 迭代过程为: 特点: (1)计算量小,迭代速度快; (2)在最小值附近徘徊,无法求得最小值。

算法 函数 数据流 在线学习 并行计算 Mapreduce

吴恩达《机器学习》课程总结(19)总结

(1)涉及到的算法 1.监督学习:线性回归,逻辑回归,神经网络,SVM。 线性回归(下面第三行x0(i)其实是1,可以去掉) 逻辑回归 神经网络(写出前向传播即可,反向框架会自动计算) SVM 2.非监督学习:聚类算法(K-mean),降维(PCA) K-mean PCA 3.异常检测 4.推荐系统 (2)策略 1.偏差与方差,正则化 训练误差减去人类最高水平为偏差(欠拟合),交叉验证集误差减训练误差为方差(过拟合); 正则化解决方差问题,不对θ0正则化; 2.学习曲线 全过程观测偏差与方差,所以更全面。

算法 并行计算 推荐系统 神经网络

spark 运维实战 简介

 Spark 大数据计算框架、架构、计算模型和数据管理策略及 Spark 在工业界的应用。围绕 Spark 的 BDAS 项目及其子项目进行了简要介绍。目前,Spark 生态系统已经发展成为一个包含多个子项目的集合,其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目,本章只进行简要介绍,后续章节再详细阐述。

分布式 大数据 hdfs hadoop 性能 线程 Apache 数据处理 spark 并行计算 Hive Mapreduce 存储

spark 运维实战 简介

 Spark 大数据计算框架、架构、计算模型和数据管理策略及 Spark 在工业界的应用。围绕 Spark 的 BDAS 项目及其子项目进行了简要介绍。目前,Spark 生态系统已经发展成为一个包含多个子项目的集合,其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目,本章只进行简要介绍,后续章节再详细阐述。

分布式 大数据 hdfs hadoop 性能 线程 Apache 数据处理 spark 并行计算 Hive Mapreduce 存储

简述C和C++的学习历程

总是被问到,如何学习C和C++才不茫然,才不是乱学,想了一下,这里给出一个总的回复。 一家之言,欢迎拍砖哈。1、可以考虑先学习C.大多数时候,我们学习语言的目的,不是为了成为一个语言专家,而是希望成为一个解决问题的专家。

算法 程序员 c++ windows 面向对象 mfc 并行计算 编程

跨越语言鸿沟-跨境电商多语言翻译实现电商全球化

2018云栖大会上海峰会,阿里云高级技术专家太武对跨越语言鸿沟-跨境电商场景多语言翻译应用和实践进行了讲述。机器翻译助力跨境电商全球化。本文主要从机器翻译的背景,具体翻译跨境电商以及搭建跨界电商场景语言翻译技术条件以及运营的技术挑战及创新。

电商 并行计算 神经网络

PostgreSQL Oracle PL/SQL 兼容性之 - AGGREGATE USING Clause 聚合函数

标签 PostgreSQL , Oracle , PL/SQL , 聚合函数 , 自定义聚合函数 背景 Oracle的自定义聚合函数的定义方法,在创建函数是,使用AGGREGATE USING Clause关键词。

数据存储与数据库 分布式 PostgreSQL 函数 Oracle SQL static 并行计算 兼容性 aggregate 数组

开发者福利!活雷锋AMD公布VR开源音效技术

AMD公布TrueAudio Next计划,打造更好的沉浸式VR音效。 对于VR来说,好的VR音效能够提升VR体验的沉浸感。英伟达在5月发布了VR音效工具VR Works Audio。最近,老对手AMD也加入优化VR音效的大军,他们宣布了TrueAudio Next计划,该计划将利用AMD GPU强大的并行计算性能来开发基于真实物理基础的声音渲染技术。

云栖社区 同步 并行计算 虚拟现实

云时代应用多样化 异构计算成主流

前不久,英伟达发布了其机器人平台——Jetson Xavier,我们可以看到,这个平台包含了6种处理器:1个Volta TensorCore GPU、1个8核ARM64 CPU、2个NVDLA深度学习加速器、1个图像处理器、1个视觉处理器和1个视频处理器。

云栖社区 深度学习 算法 并行计算 CPU 数据中心 GPU 海量数据

美国重夺超算第一背后:英伟达GPU提供了95%计算力

时隔5年后,美国暂时夺回了世界超级计算机领域的头把交椅。美国当地时间6月8日,美国能源部下属橡树岭国家实验室宣布,他们研发出的超级计算机“顶点”(Summit),浮点运算速度峰值可达每秒20亿亿次,接近“神威·太湖之光”超级计算机的两倍。

深度学习 人工智能 并行计算 IBM GPU

异构计算成主流,芯片大整合时代到来

异构时代正在到来 我们知道,此前在半导体产业,一般的芯片公司都只专注于少数几种种芯片,但近年来,芯片公司除了之前的纵向发展提升速度外,也越来越注重横向发展,开始整合各种不同类型的芯片。 前不久,英伟达发布了其机器人平台——Jetson Xavier,我们可以看到,这个平台包含了6种处理器:1个Volta TensorCore GPU、1个8核ARM64 CPU、2个NVDLA深度学习加速器、1个图像处理器、1个视觉处理器和1个视频处理器。

性能 人工智能 并行计算 CPU 数据中心 GPU

寒假CUDA学习杂谈

蹭着这个最为空的寒假,按着自己的兴趣完整地学了一遍cuda的基础(有点对不起未来的boss),顺便做一下总结(其中有些地方纯属扯淡):GPU作为目前深度学习的利器,虽然说谷歌已经开放了TPU,作为普通的大众,先不说每小时将近40大洋的费用,首先是要拿自己搭的小水管来上传几十GB的训练集.

深度学习 架构 性能优化 线程 并行计算 GPU CUDA 换装攻略

关于分布式计算的一些概念

不管是网络、内存、还是存储的分布式,它们最终目的都是为了实现计算的分布式:数据在各个计算机节点上流动,同时各个计算机节点都能以某种方式访问共享数据,最终分布式计算后的输出结果被持久化存储和输出。 分布式作为分布式系统里最重要的一个能力和目标,也是大数据系统的关技术之一。

分布式 大数据 架构 storm hadoop 线程 面向对象 spark 流式计算 分布式计算 Akka 离线计算 并行计算 Mapreduce

区块链和“社会治理”之间千丝万缕的联系,听听工信部、信通院的大牛怎么说 | 数博会2018

信通院云计算与大数据研究所所长何宝宏:2018全球区块链十大发展趋势 目前全球有8万多个区块链项目,但只有8%的项目有人在维护,平均寿命为1.22年,兴起快、死得也快,缺乏统一的标准。在此环境下,全球各国正在加速争夺标准制定权,以加快区块链标准化落地。

大数据 安全 算法 人工智能 量子计算 物联网 并行计算 分布式系统

陈国良院士将出席“首届对象存储技术与应用大会”

 时代的脚步永不停歇。在企业向数字化,互联网转型的过程中,数据成为企业的核心资产。面对不断快速增长的数据,原来的基础架构已经不堪重负。如何保存和管理,如何让IT基础架构轻盈而健壮,如何保持可控的成本?我们需要一种新的方案。

云栖社区 架构 对象存储 分布式架构 并行计算 高性能 分布式系统 分布式存储 企业应用 存储 数据存储 海量数据

50
GO