把自己揉碎，再在烈火中重塑，那么你还为未来迷茫吗？

发布时间：2018-11-12 17:04:53 参与人数：71

最近或许有伙伴发现，写技术实现及细节的变少了，更多是经历以及思想、规范。莫非是道则道，非常道，你道我也道？然，并不是：）。 当入行四五年时，个人经历中，从14年开始实习工作到15年转正，各电信项目现场...

话题奖品：

阿里云代金券5个

福禄寿淘公仔1个

已结束

数据技术工程师成长之路

发布时间：2018-10-22 19:32:23 浏览：8797 回帖 ：0

　　最近或许有伙伴发现，写技术实现及细节的变少了，更多是经历以及思想、规范。莫非是道则道，非常道，你道我也道？然，并不是：）。 　　当入行四五年时，个人经历中，从14年开始实习工作到15年转正，...

云栖社区 系统软件 系统研发与运维 大数据 架构 测试 知识图谱

项目研发流程及管理之我见

发布时间：2018-08-24 00:21:43 浏览：2335 回帖 ：0

随着工作年限的增长，我们从一开始负责一个功能，再到负责一个模块的数据字典及框架设计。再到负责整个系统的需求评审及架构设计。这一路见证着程序猿的成长。但当我们逐步成为一名架构师，或是一名项目管理人...

云栖社区 架构 模块 review 测试 项目管理 单元测试 数据库设计

阿里入职一个月思考（随笔）

发布时间：2017-04-15 01:15:00 浏览：1070 回帖 ：1

　　最近没怎么写技术博客了。。原因是，跳到了曾经期望的公司，还在做技术储备。。。如今入职一个月了，已经完全进入状态。同时，也带来更多思考与感悟。 　　我记得第一面，是支付宝的架构师。与他聊了很多关于技...

大数据 架构 storm 性能 数据安全

用一句话证明你是做技术的

发布时间：2018-07-19 09:41:12 参与人数：92

证明，在汉语里的基本解释为： 根据确实的材料判明人或事物的真实性； 指证明书、证明信。 那么问题来了，要是没有了确实的材料，你用什么证明你是XXXX。用一句话就足够了。 用一句话证明你是老师 ...

话题奖品：

阿里云代金券5个

福禄寿淘公仔1个

已结束

如果技术是上帝的笑...，那么干代码的你属于哪种思维模式呢？

发布时间：2018-07-11 10:07:53 参与人数：13

工作已有多年有余，从最初的亚信 到现在的 阿里。。总结了下思维模式，以个人的视角，供各位干代码的小伙伴们参考，能够深入无论 技术还是业务还是产品的本质。发现其中的规律，更好地把握自己的方向及未来。那么...

话题奖品：

技术书籍1个

福禄寿淘公仔1个

阿里云代金券3个

已结束

思维体系---技术思维、业务数据思维、产品思维、复合思维

发布时间：2018-06-28 16:57:00 浏览：1113 回帖 ：0

　　工作已有四年有余，从最初的亚信 到现在的 阿里。。总结了下思维模式，以个人的视角，供各位干代码的小伙伴们参考，能够深入无论 技术还是业务还是产品的本质。发现其中的规律，更好地把握自己的方向及未来。...

分布式 hadoop 程序员 spark

Hive metastore整体代码分析及详解

发布时间：2018-02-24 17:06:00 浏览：1703 回帖 ：0

　　从上一篇对Hive metastore表结构的简要分析中，我再根据数据设计的实体对象，再进行整个代码结构的总结。那么我们先打开metadata的目录，其目录结构： 　　可以看到，整个hiveme...

string Hive

Hive metastore表结构设计分析

发布时间：2018-02-19 18:47:00 浏览：1156 回帖 ：0

　　今天总结下，Hive metastore的结构设计。什么是metadata呢，对于它的描述，可以理解为数据的数据，主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等...

Hive metadata 存储

Kudu存储实战笔记

发布时间：2017-12-18 21:12:00 浏览：1267 回帖 ：0

　　有人会问，为啥要用这个叫啥Kudu的，Kudu是啥？ 　　就像官网所说，Kudu是一个针对Apache hadoop 平台而开发的列式存储管理器,在本菜鸟看来，它是一种介于hdfs与hbase的一...

高可用 Server string static schema Create type 存储 数据存储

Hive metastore源码阅读（三）

发布时间：2017-09-11 01:36:00 浏览：716 回帖 ：0

　　上次写了hive metastore的partition的生命周期，但是简略概括了下alter_partition的操作，这里补一下alter_partition,因为随着项目的深入，发现它涉及的...

源码 string Hive list

Hive metastore源码阅读（二）

发布时间：2017-08-30 03:09:00 浏览：855 回帖 ：0

　　最近随着项目的深入，发现hive meta有些弊端，就是你会发现它的元数据操作与操作物理集群的代码耦合在一起，非常不利于扩展。比如：在create_table的时候同时进行路径校验及创建，如下代码...

源码 string Hive list

Hive metastore源码阅读（一）

发布时间：2017-08-17 02:34:00 浏览：1025 回帖 ：0

　　不要问我为什么，因为爱，哈哈哈哈。。。进入正题，最近做项目顺带学习了下hive metastore的源码，进行下知识总结。 　　hive metastore的整体架构如图： 　　 　　一、组成结构...

hbase Apache 源码 string Hive class void database

Hadoop源码学习之HDFS（一）

发布时间：2017-07-03 21:40:00 浏览：634 回帖 ：0

　　Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据（数据块）信息以及数据块的ID。 ...

hdfs hadoop 源码 creation 存储

Hadoop源码分类概要整理

发布时间：2017-07-02 15:05:00 浏览：615 回帖 ：0

　　最近突然觉得， 很多掌握的都还是很浅的原理，需要更深入细粒度去了解整个分布式系统的运转机制。于是。。开始作死而又作死而又作死的源码之旅。 　　Hadoop包的功能总共有下列几类： 　　tool:提...

RPC 服务器 hdfs hadoop c++ Apache 源码 Server 分布式文件系统 分布式系统 Servlet Mapreduce 存储

sparksql工程小记

发布时间：2017-04-30 16:12:00 浏览：642 回帖 ：0

　　最近做一个oracle项目迁移工作，跟着spark架构师学着做，进行一些方法的总结。 　　1、首先，创建SparkSession对象（老版本为sparkContext） 　　val session...

mysql Oracle 配置 同步 string schema session

阿里入职一个月思考（随笔）

发布时间：2017-04-15 01:15:00 浏览：1070 回帖 ：1

　　最近没怎么写技术博客了。。原因是，跳到了曾经期望的公司，还在做技术储备。。。如今入职一个月了，已经完全进入状态。同时，也带来更多思考与感悟。 　　我记得第一面，是支付宝的架构师。与他聊了很多关于技...

大数据 架构 storm 性能 数据安全

hiveql函数笔记（二）

发布时间：2017-03-19 16:19:00 浏览：757 回帖 ：0

1、数据查询 //提高聚合的性能 SET hive.map.aggr=true; SELECT count(*),avg(salary) FROM employees; //木匾不允许在一个查询语句中...

函数 Json 正则表达式 string 空格 Hive 字符集 charset pattern 数组

hiveql笔记（一）

发布时间：2017-03-19 12:00:00 浏览：557 回帖 ：0

1、创建表 create table if not exists mydb.employees{ 　　name　　String COMMENT 'Employee name', 　　salary　　F...

string Hive 分区表 Create

spark集成hbase与hive数据转换与代码练习

发布时间：2017-02-12 03:38:00 浏览：637 回帖 ：0

　　帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。 1 import java.util.Date 2 3 import org.apache.hadoo...

hbase hadoop Apache spark DataFrame string Hive PUT