松伯 + 关注
技术专家 专注于大数据领域 博客园地址:https://www.cnblogs.com/yangsy0915/

松伯 发表了话题:

把自己揉碎,再在烈火中重塑,那么你还为未来迷茫吗?

发布时间:2018-11-12 17:04:53 参与人数:71

最近或许有伙伴发现,写技术实现及细节的变少了,更多是经历以及思想、规范。莫非是道则道,非常道,你道我也道?然,并不是:)。 当入行四五年时,个人经历中,从14年开始实习工作到15年转正,各电信项目现场...

话题奖品:
阿里云代金券5个
福禄寿淘公仔1个
已结束

松伯 发表了文章:

数据技术工程师成长之路

发布时间:2018-10-22 19:32:23 浏览:912 回帖 :0

  最近或许有伙伴发现,写技术实现及细节的变少了,更多是经历以及思想、规范。莫非是道则道,非常道,你道我也道?然,并不是:)。   当入行四五年时,个人经历中,从14年开始实习工作到15年转正,...

云栖社区 系统软件 系统研发与运维 大数据 架构 测试 知识图谱

松伯 发表了文章:

项目研发流程及管理之我见

发布时间:2018-08-24 00:21:43 浏览:1760 回帖 :0

随着工作年限的增长,我们从一开始负责一个功能,再到负责一个模块的数据字典及框架设计。再到负责整个系统的需求评审及架构设计。这一路见证着程序猿的成长。但当我们逐步成为一名架构师,或是一名项目管理人...

云栖社区 架构 模块 review 测试 项目管理 单元测试 数据库设计

松伯 评论了文章:

阿里入职一个月思考(随笔)

发布时间:2017-04-15 01:15:00 浏览:670 回帖 :1

  最近没怎么写技术博客了。。原因是,跳到了曾经期望的公司,还在做技术储备。。。如今入职一个月了,已经完全进入状态。同时,也带来更多思考与感悟。   我记得第一面,是支付宝的架构师。与他聊了很多关于技...

大数据 架构 storm 性能 数据安全

“相信自己,我们都在进步,殊途同归,坚持下去总归会达成自己的目标:),不小心删了一位博友的评论,见谅哈。。”

松伯 参与了话题:

用一句话证明你是做技术的

发布时间:2018-07-19 09:41:12 参与人数:92

证明,在汉语里的基本解释为: 根据确实的材料判明人或事物的真实性; 指证明书、证明信。 那么问题来了,要是没有了确实的材料,你用什么证明你是XXXX。用一句话就足够了。 用一句话证明你是老师 ...

话题奖品:
阿里云代金券5个
福禄寿淘公仔1个
已结束
“面向离职编程,代码即交接文档。”

松伯 发表了话题:

如果技术是上帝的笑...,那么干代码的你属于哪种思维模式呢?

发布时间:2018-07-11 10:07:53 参与人数:13

工作已有多年有余,从最初的亚信 到现在的 阿里。。总结了下思维模式,以个人的视角,供各位干代码的小伙伴们参考,能够深入无论 技术还是业务还是产品的本质。发现其中的规律,更好地把握自己的方向及未来。那么...

话题奖品:
技术书籍1个
福禄寿淘公仔1个
阿里云代金券3个
已结束

松伯 发表了文章:

思维体系---技术思维、业务数据思维、产品思维、复合思维

发布时间:2018-06-28 16:57:00 浏览:780 回帖 :0

  工作已有四年有余,从最初的亚信 到现在的 阿里。。总结了下思维模式,以个人的视角,供各位干代码的小伙伴们参考,能够深入无论 技术还是业务还是产品的本质。发现其中的规律,更好地把握自己的方向及未来。...

分布式 hadoop 程序员 spark

松伯 发表了文章:

大数据理论体系总结--数据仓库管理与全链路数据体系

发布时间:2018-06-25 23:52:00 浏览:1516 回帖 :0

前言   就这样,大数据领域蓬勃发展了好几年,有很多伙伴执迷于技术,成为了分布式计算与存储的领域专家。也有很多伙伴执迷于数据,成为了行业的数据研发专家。当然还有很多小伙伴,热衷于工具系统开发,成为了数...

大数据 监控 服务器 日志 数据处理 数据仓库 浏览器 同步 数据同步 存储 数据管理

松伯 发表了文章:

Hive metastore整体代码分析及详解

发布时间:2018-02-24 17:06:00 浏览:1062 回帖 :0

  从上一篇对Hive metastore表结构的简要分析中,我再根据数据设计的实体对象,再进行整个代码结构的总结。那么我们先打开metadata的目录,其目录结构:   可以看到,整个hiveme...

string Hive

松伯 发表了文章:

Hive metastore表结构设计分析

发布时间:2018-02-19 18:47:00 浏览:702 回帖 :0

  今天总结下,Hive metastore的结构设计。什么是metadata呢,对于它的描述,可以理解为数据的数据,主要是描述数据的属性的信息。它是用来支持如存储位置、历史数据、资源查找、文件记录等...

Hive metadata 存储

松伯 发表了文章:

Linux知识体系之磁盘与档案系统管理

发布时间:2018-02-19 12:09:00 浏览:608 回帖 :0

  硬盘的物理组成:由许许多多的圆形硬盘盘所组成。宜居硬盘盘能够容纳的数据量,而有所谓的单碟或者多碟。   首先,硬盘里一定会有所谓的磁头(Head)在进行该硬盘上面的读写动作,而磁头是固定在机械手臂...

linux 操作系统 磁盘 ext2 存储

松伯 发表了文章:

Kudu存储实战笔记

发布时间:2017-12-18 21:12:00 浏览:828 回帖 :0

  有人会问,为啥要用这个叫啥Kudu的,Kudu是啥?   就像官网所说,Kudu是一个针对Apache hadoop 平台而开发的列式存储管理器,在本菜鸟看来,它是一种介于hdfs与hbase的一...

高可用 Server string static schema Create type 存储 数据存储

松伯 发表了文章:

Hive metastore源码阅读(三)

发布时间:2017-09-11 01:36:00 浏览:476 回帖 :0

  上次写了hive metastore的partition的生命周期,但是简略概括了下alter_partition的操作,这里补一下alter_partition,因为随着项目的深入,发现它涉及的...

源码 string Hive list

松伯 发表了文章:

Hive metastore源码阅读(二)

发布时间:2017-08-30 03:09:00 浏览:545 回帖 :0

  最近随着项目的深入,发现hive meta有些弊端,就是你会发现它的元数据操作与操作物理集群的代码耦合在一起,非常不利于扩展。比如:在create_table的时候同时进行路径校验及创建,如下代码...

源码 string Hive list

松伯 发表了文章:

Hive metastore源码阅读(一)

发布时间:2017-08-17 02:34:00 浏览:697 回帖 :0

  不要问我为什么,因为爱,哈哈哈哈。。。进入正题,最近做项目顺带学习了下hive metastore的源码,进行下知识总结。   hive metastore的整体架构如图:      一、组成结构...

hbase Apache 源码 string Hive class void database

松伯 发表了文章:

Hadoop源码学习之HDFS(一)

发布时间:2017-07-03 21:40:00 浏览:381 回帖 :0

  Hadoop的HDFS可以分为NameNode与DataNode,NameNode存储所有DataNode中数据的元数据信息。而DataNode负责存储真正的数据(数据块)信息以及数据块的ID。 ...

hdfs hadoop 源码 creation 存储

松伯 发表了文章:

Hadoop源码分类概要整理

发布时间:2017-07-02 15:05:00 浏览:370 回帖 :0

  最近突然觉得, 很多掌握的都还是很浅的原理,需要更深入细粒度去了解整个分布式系统的运转机制。于是。。开始作死而又作死而又作死的源码之旅。   Hadoop包的功能总共有下列几类:   tool:提...

RPC 服务器 hdfs hadoop c++ Apache 源码 Server 分布式文件系统 分布式系统 Servlet Mapreduce 存储

松伯 发表了文章:

sparksql工程小记

发布时间:2017-04-30 16:12:00 浏览:383 回帖 :0

  最近做一个oracle项目迁移工作,跟着spark架构师学着做,进行一些方法的总结。   1、首先,创建SparkSession对象(老版本为sparkContext)   val session...

mysql Oracle 配置 同步 string schema session

松伯 发表了文章:

阿里入职一个月思考(随笔)

发布时间:2017-04-15 01:15:00 浏览:670 回帖 :1

  最近没怎么写技术博客了。。原因是,跳到了曾经期望的公司,还在做技术储备。。。如今入职一个月了,已经完全进入状态。同时,也带来更多思考与感悟。   我记得第一面,是支付宝的架构师。与他聊了很多关于技...

大数据 架构 storm 性能 数据安全

松伯 发表了文章:

hiveql函数笔记(二)

发布时间:2017-03-19 16:19:00 浏览:399 回帖 :0

1、数据查询 //提高聚合的性能 SET hive.map.aggr=true; SELECT count(*),avg(salary) FROM employees; //木匾不允许在一个查询语句中...

函数 Json 正则表达式 string 空格 Hive 字符集 charset pattern 数组

3
技术专家 专注于大数据领域 博客园地址:https://www.cnblogs.com/yangsy0915/

感兴趣or擅长的领域:

更多>
微wx笑
微wx笑
文章:0丨 粉丝:1198丨 话题:93
小哀女王
小哀女王
文章:0丨 粉丝:50丨 话题:1
管理贝贝
管理贝贝
文章:59丨 粉丝:2908丨 话题:11
友德
友德
文章:10丨 粉丝:18丨 话题:0
德哥
德哥
文章:2015丨 粉丝:14163丨 话题:14
傲海
傲海
文章:298丨 粉丝:49081丨 话题:2
更多>
sjynegh
sjynegh
文章:1丨 粉丝:0丨 话题:0
真无名
真无名
文章:0丨 粉丝:0丨 话题:0
xiyaluo
xiyaluo
文章:0丨 粉丝:0丨 话题:0
游客ggwpcvdpyue46
游客ggwpcvdpyue46
文章:0丨 粉丝:0丨 话题:0
icarus-chen
icarus-chen
文章:0丨 粉丝:0丨 话题:0
zz2019
zz2019
文章:0丨 粉丝:2丨 话题:0