许鹏 + 关注

许鹏 发表了文章:

Scala: Range & 实现集合中相邻元素间的差值

发布时间:2016-09-16 18:33:25 浏览:2409 回帖 :0

Scala中Range可以看成是List的特例,Range的包含的元素类型是Int, 本文介绍如何创建Range。代码这东西,不写肯定不行,新学Scala不久,将实际遇到的一些问题记录下来,日后也好查...

scala

许鹏 发表了文章:

Elasticsearch hadoop使用示例 & 运维实战之集群规划 &presto-elasticsearch connector

发布时间:2016-09-16 17:39:52 浏览:6830 回帖 :1

在elasticsearch-hadoop的具体使用中碰到了几个问题,有必要记录一下,避免下次遇到时又要重新研究,以及用于生产的elasticsearch集群规划建议。 elasticsearch搜索...

hadoop Elasticsearch

许鹏 发表了文章:

拥抱新技术的一点思考 & 对大数据处理的一点思考

发布时间:2016-09-16 16:45:30 浏览:1284 回帖 :0

无论是github上还是Apache基金会,每过一段时间都会有一些非常优秀的项目出现。如何在较短的时间内比较好的学习和把握住新项目的精髓及要点呢?

随笔

许鹏 发表了文章:

emacs+ensime+sbt打造spark源码阅读环境

发布时间:2016-09-16 16:20:07 浏览:2466 回帖 :0

Scala越来越流行, Spark也愈来愈红火, 对spark的代码进行走读也成了一个很普遍的行为。不巧的是,当前java社区中很流行的ide如eclipse,netbeans对scala的支持都不算...

spark emacs

许鹏 发表了文章:

RDBMS vs. NoSQL & Clojure概述

发布时间:2016-09-16 16:13:00 浏览:1419 回帖 :0

由于近期手头的工作和数据库的选型相关,纠结于是否使用一款NoSQL数据库来替换已有的MySQL数据库。在这个过程中随着学习研究的深入,对于二者的异同有了一些初步的认识和想法,将这些想法暂时记录下来,权...

NOSQL RDBMS Clojure

许鹏 发表了文章:

Hadoop2 实战系列之1 -- Hortonworks Sandbox的安装和使用

发布时间:2016-09-16 15:51:37 浏览:3069 回帖 :0

本文主要讲述如何利用hortonworks sanbox来搭建hadoop2的学习环境。Hortonworks sanbox集成了hadoop2及其上的一些常用工具如hive, pig等。

Hadoop2

许鹏 发表了文章:

Apache Storm 衍生项目 & Apache Flink初接触

发布时间:2016-09-16 15:10:58 浏览:3028 回帖 :0

storm是一个近似于实时的计算框架,甩开hadoop上的原生mapreduce计算框架不只一条街。如果能将storm引入到hadoop中,对存储于hdfs的数据进行分析必然极大的提高处理性能。sto...

storm Apache

许鹏 发表了文章:

twitter storm源码走读(五)

发布时间:2016-09-16 15:04:33 浏览:1074 回帖 :0

从用户层面来看TridentTopology,有两个重要的概念一是Stream,另一个是作用于Stream上的各种Operation。在实现层面来看,无论是stream,还是后续的operation都...

storm Twitter

许鹏 发表了文章:

Apache Storm技术实战

发布时间:2016-09-16 13:54:50 浏览:3135 回帖 :1

“源码走读系列”从代码层面分析了storm的具体实现,接下来通过具体的实例来说明storm的使用。因为目前storm已经正式迁移到Apache。WordCountTopology 使用storm来统...

storm Apache

许鹏 发表了文章:

twitter storm源码走读(四)

发布时间:2016-09-16 01:09:05 浏览:1558 回帖 :0

TridentTopology是storm提供的高层使用接口,常见的一些SQL中的操作在tridenttopology提供的api中都有类似的影射。关于TridentTopology的使用及运行原理,...

storm Twitter

许鹏 发表了文章:

twitter storm源码走读(三)

发布时间:2016-09-16 00:57:25 浏览:1157 回帖 :0

本文重点分析storm的worker进程在正常启动之后有哪些类型的线程,针对每种类型的线程,剖析其用途及消息的接收与发送流程。本文从外部消息在worker进程内部的转化,传递及处理过程入手,一步步分析...

storm Twitter

许鹏 发表了文章:

twitter storm源码走读(二)

发布时间:2016-09-16 00:41:51 浏览:1468 回帖 :0

storm cluster可以想像成为一个工厂,nimbus主要负责从外部接收订单和任务分配。除了从外部接单,nimbus还要将这些外部订单转换成为内部工作分配,这个时候nimbus充当了调度室的角...

storm Twitter

许鹏 发表了文章:

twitter storm源码走读(一)

发布时间:2016-09-16 00:32:40 浏览:1343 回帖 :0

本文详细介绍了twitter storm中的nimbus节点的启动场景,分析nimbus是如何一步步实现定义于storm.thrift中的service,以及如何利用curator来和zookeep...

storm Twitter

许鹏 发表了文章:

Apache Spark技术实战(四)spark-submit常见问题及其解决 &CassandraRDD高并发数据读取实现剖析

发布时间:2016-09-14 22:09:21 浏览:3357 回帖 :1

编写了独立运行的Spark Application之后,需要将其提交到Spark Cluster中运行,一般会采用spark-submit来进行应用的提交,在使用spark-submit的过程中,有哪...

spark-submit CassandraRDD 数据读取

许鹏 发表了文章:

Apache Spark技术实战(三)利用Spark将json文件导入Cassandra &SparkR的安装及使用

发布时间:2016-09-14 22:00:46 浏览:2233 回帖 :1

本文第一部分讲解利用Spark将json文件导入Cassandra;第二部分讲解SparkR的安装及使用。

Json Cassandra SparkR的安装及使用

许鹏 发表了文章:

Apache Spark技术实战(二)KafkaWordCount &PackratParsers实例 &Spark Cassandra Connector的安装和使用

发布时间:2016-09-14 21:51:39 浏览:2800 回帖 :1

本篇第一部分主要讲述如何运行KafkaWordCount,这个需要涉及Kafka集群的搭建,还是说的越仔细越好;第二部分讲解PackratParsers实例;第三部分分享Spark Cassandra...

Apache spark Cassandra Connector PackratParsers KafkaWordCount

许鹏 发表了文章:

Apache Spark源码走读(十二)Sort-based Shuffle的设计与实现

发布时间:2016-09-14 21:37:26 浏览:1011 回帖 :0

Spark 1.1中对spark core的一个重大改进就是引入了sort-based shuffle处理机制,本文就该处理机制的实现进行初步的分析。

Apache spark Shuffle Sort-based

许鹏 发表了文章:

Apache Spark源码走读(十一)浅谈mllib中线性回归的算法实现&Spark MLLib中拟牛顿法L-BFGS的源码实现

发布时间:2016-09-14 21:34:22 浏览:3309 回帖 :0

本文简要描述线性回归算法在Spark MLLib中的具体实现,涉及线性回归算法本身及线性回归并行处理的理论基础,然后对代码实现部分进行走读。第二部分讲解Spark MLLib中拟牛顿法L-BFGS的源...

spark MLlib 线性回归算法 拟牛顿法L-BFGS

许鹏 发表了文章:

Apache Spark源码走读(十)ShuffleMapTask计算结果的保存与读取 &WEB UI和Metrics初始化及数据更新过程分析

发布时间:2016-09-14 21:24:50 浏览:1807 回帖 :0

ShuffleMapTask的计算结果保存在哪,随后Stage中的task又是如何知道从哪里去读取的呢,这个过程一直让我困惑不已。那么,让我们一起了解ShuffleMapTask计算结果的保存与读取,...

Apache web spark ShuffleMapTask UI和Metrics初始化 数据更新

许鹏 发表了文章:

Apache Spark源码走读(九)如何进行代码跟读&使用Intellij idea调试Spark源码

发布时间:2016-09-14 21:16:48 浏览:3368 回帖 :0

今天不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读。本文讲解如何进行代码跟读及使用Intellij idea调试Spark源码。

Apache spark IntelliJ 代码跟读 idea调试 Spark源码

3
暂未提供

感兴趣or擅长的领域:

暂无
更多>
更多>
jzhang0825
jzhang0825
文章:0丨 粉丝:0丨 话题:0
sjynegh
sjynegh
文章:1丨 粉丝:0丨 话题:0
xiacht
xiacht
文章:0丨 粉丝:0丨 话题:0
1535628901594943
1535628901594943
文章:0丨 粉丝:0丨 话题:0
淮水半渡
淮水半渡
文章:0丨 粉丝:0丨 话题:0
1441537267564469
1441537267564469
文章:0丨 粉丝:0丨 话题:0