dream2751027 + 关注
张东,大数据开发工程师,软件工程专业,目前在袋鼠云从事大数据开发,之前做过两年Java开发,先后参与开发过“医师诊断系统”,“可信构件管理系统”,其中可信构件管理系统获得河南省科学技术成果鉴定证书、获2015届河南省计算机设计大赛二等奖。在大数据方面,分析过微博历史数据。

dream2751027 发表了文章:

OSS文件上传及OSS与ODPS之间数据连通

发布时间:2016-06-13 22:51:30 浏览:9249 回帖 :1

有这样一种场景,用户在自建服务器上存有一定数量级的CSV格式业务数据,某一天用户了解到阿里云的OSS服务存储性价比高(嘿嘿,颜值高),于是想将CSV数据迁移到云上OSS中,并且未来还想对这些数据做一些...

OSS odps

dream2751027 发表了文章:

Tunnel上传遇到字符[NUL]问题

发布时间:2016-05-31 14:18:56 浏览:1600 回帖 :0

ODPS TUNNEL是一种支持多种数据交换的通用服务,在上传数据时可能源数据会含有一些脏数据,这里以我在生产环境中遇到NUL字符导致上传失败经历做出总结分享。

Tunnel

dream2751027 发表了文章:

用Fluent实现MySQL到ODPS数据集成

发布时间:2016-05-26 21:11:45 浏览:4388 回帖 :0

Fluentd是一个日志收集系统,可以定制输入或输出到常用系统(如MongoDB, RDS, Mysql, HDFS)或直接用于Log收集。 DHS(Datahub)向开发人员提供Fluentd插件...

Fluent 云数据库RDS

dream2751027 发表了文章:

分布式一致性算法之Paxos原理剖析

发布时间:2016-05-17 18:25:09 浏览:6459 回帖 :0

清楚zk背后leader一致性选举paxos(帕克索斯)原理

paxos zookeeper 分布式一致性算法

dream2751027 发表了文章:

HDFS常用文件操作

发布时间:2016-04-30 17:31:45 浏览:2351 回帖 :0

基本文件命令:格式为:hadoop fs -cmd <args> 例如,文件列表命令: hadoop fs -ls

HDFS文件

dream2751027 发表了文章:

ZooKeeper完全分布式安装与配置

发布时间:2016-04-29 17:02:58 浏览:6855 回帖 :1

Zookeeper是一个很好的集群管理工具,被大量用于分布式计算。如Hadoop以及Storm系统中。这里简单记录下Zookeeper集群环境的搭建过程。本文以Centos6.5作为操作系统环境。

zookeeper

dream2751027 发表了文章:

Hadoop2.5.2集群部署(完全分布式)

发布时间:2016-04-29 16:41:02 浏览:3214 回帖 :0

本文描述了如何安装、配置和管理有实际意义的Hadoop集群,安装Hadoop集群通常要将安装软件解压到集群内的所有机器上。通常,集群里一台机器被指定为 NameNode,另一台不同的机器被指定为Dat...

Hadoop部署

张东,大数据开发工程师,软件工程专业,目前在袋鼠云从事大数据开发,之前做过两年Java开发,先后参与开发过&ldquo;医师诊断系统&rdquo;,&ldquo;可信构件管理系统&rdquo;,其中可信构件管理系统获得河南省科学技术成果鉴定证书、获2015届河南省计算机设计大赛二等奖。在大数据方面,分析过微博历史数据。

感兴趣or擅长的领域:

更多>
更多>
游客v3zsbazg6qxok
游客v3zsbazg6qxok
文章:0丨 粉丝:0丨 话题:0
游客cdkod5aeh46gc
游客cdkod5aeh46gc
文章:0丨 粉丝:0丨 话题:0
游客uhf76lroce6l2
游客uhf76lroce6l2
文章:0丨 粉丝:0丨 话题:0
游客5zjcakpdcrz22
游客5zjcakpdcrz22
文章:0丨 粉丝:0丨 话题:0
游客doifdtagbcbyu
游客doifdtagbcbyu
文章:0丨 粉丝:0丨 话题:0
游客pd7xvjy63buye
游客pd7xvjy63buye
文章:0丨 粉丝:0丨 话题:0