发布时间:2018-11-12 17:04:53 参与人数:71
最近或许有伙伴发现,写技术实现及细节的变少了,更多是经历以及思想、规范。莫非是道则道,非常道,你道我也道?然,并不是:)。 当入行四五年时,个人经历中,从14年开始实习工作到15年转正,各电信项目现场...
发布时间:2018-10-22 19:32:23 浏览:9369 回帖 :0
最近或许有伙伴发现,写技术实现及细节的变少了,更多是经历以及思想、规范。莫非是道则道,非常道,你道我也道?然,并不是:)。 当入行四五年时,个人经历中,从14年开始实习工作到15年转正,...
发布时间:2018-08-24 00:21:43 浏览:2406 回帖 :0
随着工作年限的增长,我们从一开始负责一个功能,再到负责一个模块的数据字典及框架设计。再到负责整个系统的需求评审及架构设计。这一路见证着程序猿的成长。但当我们逐步成为一名架构师,或是一名项目管理人...
发布时间:2017-04-15 01:15:00 浏览:1476 回帖 :1
最近没怎么写技术博客了。。原因是,跳到了曾经期望的公司,还在做技术储备。。。如今入职一个月了,已经完全进入状态。同时,也带来更多思考与感悟。 我记得第一面,是支付宝的架构师。与他聊了很多关于技...
发布时间:2018-07-19 09:41:12 参与人数:92
证明,在汉语里的基本解释为: 根据确实的材料判明人或事物的真实性; 指证明书、证明信。 那么问题来了,要是没有了确实的材料,你用什么证明你是XXXX。用一句话就足够了。 用一句话证明你是老师 ...
发布时间:2018-07-11 10:07:53 参与人数:13
工作已有多年有余,从最初的亚信 到现在的 阿里。。总结了下思维模式,以个人的视角,供各位干代码的小伙伴们参考,能够深入无论 技术还是业务还是产品的本质。发现其中的规律,更好地把握自己的方向及未来。那么...
发布时间:2018-06-28 16:57:00 浏览:1524 回帖 :0
工作已有四年有余,从最初的亚信 到现在的 阿里。。总结了下思维模式,以个人的视角,供各位干代码的小伙伴们参考,能够深入无论 技术还是业务还是产品的本质。发现其中的规律,更好地把握自己的方向及未来。...
发布时间:2018-02-24 17:06:00 浏览:2190 回帖 :0
从上一篇对Hive metastore表结构的简要分析中,我再根据数据设计的实体对象,再进行整个代码结构的总结。那么我们先打开metadata的目录,其目录结构: 可以看到,整个hiveme...
发布时间:2018-02-19 18:47:00 浏览:1223 回帖 :0
今天总结下,Hive metastore的结构设计。什么是metadata呢,对于它的描述,可以理解为数据的数据,主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等...
发布时间:2017-12-18 21:12:00 浏览:1698 回帖 :0
有人会问,为啥要用这个叫啥Kudu的,Kudu是啥? 就像官网所说,Kudu是一个针对Apache hadoop 平台而开发的列式存储管理器,在本菜鸟看来,它是一种介于hdfs与hbase的一...
发布时间:2017-09-11 01:36:00 浏览:976 回帖 :0
上次写了hive metastore的partition的生命周期,但是简略概括了下alter_partition的操作,这里补一下alter_partition,因为随着项目的深入,发现它涉及的...
发布时间:2017-08-30 03:09:00 浏览:1175 回帖 :0
最近随着项目的深入,发现hive meta有些弊端,就是你会发现它的元数据操作与操作物理集群的代码耦合在一起,非常不利于扩展。比如:在create_table的时候同时进行路径校验及创建,如下代码...
发布时间:2017-08-17 02:34:00 浏览:1281 回帖 :0
不要问我为什么,因为爱,哈哈哈哈。。。进入正题,最近做项目顺带学习了下hive metastore的源码,进行下知识总结。 hive metastore的整体架构如图: 一、组成结构...
发布时间:2017-07-03 21:40:00 浏览:665 回帖 :0
Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据(数据块)信息以及数据块的ID。 ...
发布时间:2017-07-02 15:05:00 浏览:650 回帖 :0
最近突然觉得, 很多掌握的都还是很浅的原理,需要更深入细粒度去了解整个分布式系统的运转机制。于是。。开始作死而又作死而又作死的源码之旅。 Hadoop包的功能总共有下列几类: tool:提...
发布时间:2017-04-30 16:12:00 浏览:683 回帖 :0
最近做一个oracle项目迁移工作,跟着spark架构师学着做,进行一些方法的总结。 1、首先,创建SparkSession对象(老版本为sparkContext) val session...
发布时间:2017-04-15 01:15:00 浏览:1476 回帖 :1
最近没怎么写技术博客了。。原因是,跳到了曾经期望的公司,还在做技术储备。。。如今入职一个月了,已经完全进入状态。同时,也带来更多思考与感悟。 我记得第一面,是支付宝的架构师。与他聊了很多关于技...
发布时间:2017-03-19 16:19:00 浏览:819 回帖 :0
1、数据查询 //提高聚合的性能 SET hive.map.aggr=true; SELECT count(*),avg(salary) FROM employees; //木匾不允许在一个查询语句中...
发布时间:2017-03-19 12:00:00 浏览:590 回帖 :0
1、创建表 create table if not exists mydb.employees{ name String COMMENT 'Employee name', salary F...
发布时间:2017-02-12 03:38:00 浏览:673 回帖 :0
帮一个朋友写个样例,顺便练手啦~一直在做平台的各种事,但是代码后续还要精进啊。。。 1 import java.util.Date 2 3 import org.apache.hadoo...