旭东的博客 + 关注
从事互联网开发工作,写博客,记录问题与学习支持,并分析

旭东的博客 发表了文章:

Hadoop 少量map/reduce任务执行慢问题

发布时间:2017-12-23 10:53:00 浏览:738 回帖 :0

最近在做报表统计,跑hadoop任务。 之前也跑过map/reduce但是数据量不大,遇到某些map/reduce执行时间特别长的问题。 执行时间长有几种可能性: 1. 单个map/reduce任务处...

hadoop reduce 集群 报表

旭东的博客 发表了文章:

Hadoop streaming 排序、分桶参数设置

发布时间:2017-12-16 11:06:00 浏览:1116 回帖 :0

编写hadoop任务经常需要用到partition和排序。这里记录一下几个参数。 1. 概念 Partition:分桶过程,用户输出的key经过partition分发到不同的reduce里,因而par...

hadoop reduce 排序 stream

旭东的博客 发表了文章:

正则表达式与运用

发布时间:2017-11-28 08:52:00 浏览:581 回帖 :0

正则表达式用的地方是很多的。比如字符串处理过程中。最近遇到记录一下。 1. 比如在shell中 1 #!/bin/bash 2 3 str="date:2017-11-28 os:centos b...

python os shell centos 正则表达式 Group Blog

旭东的博客 发表了文章:

Shell bc命令进行数学运算

发布时间:2017-11-24 07:51:00 浏览:550 回帖 :0

通常情况做简单的运算,很多命令里面都是支持的。比如for, awk等。 1 #!/bin/bash 2 3 num=0 4 #for循环这里的数字也是运算 5 #也可以使用 seq 0 ...

shell 脚本 数组 awk Bash

旭东的博客 发表了文章:

Ubuntu sh命令无法正确执行 (修改默认sh为bash)

发布时间:2017-11-23 08:34:00 浏览:582 回帖 :0

新安装的ubuntu,执行shell命令,都怀疑自己的shell水平了。 原来, ubuntu默认的是dash, 需要手动执行命令将dash改为bash. 命令: sudo dpkg-reconfig...

ubuntu shell Bash

旭东的博客 发表了文章:

Html 列表 li ul使用

发布时间:2017-11-21 08:07:00 浏览:540 回帖 :0

html中偶尔会使用到列表,记录一下。 1 DOCTYPE html> 2 3 4 5 6 .level_1{li...

class charset html utf-8

旭东的博客 发表了文章:

Python traceback 模块, 打印异常信息

发布时间:2017-11-17 08:04:00 浏览:594 回帖 :0

Python感觉是模仿Java, 到处都需要加try..catch...。 这里记录一下用法,方便后续使用。 1 # -*- coding:utf-8 -*- 2 3 import os ...

python LOG 模块 os path trace exception utf-8

旭东的博客 发表了文章:

HTML JS 数据校验

发布时间:2017-10-29 18:14:00 浏览:415 回帖 :0

用到了html字符串校验,这里记录一下。 1 2 3 4 function on_click(){ 5 ...

javascript js 正则表达式 test blank html type email input

旭东的博客 发表了文章:

算法: 实现LRU缓存,读取、写入O(1)实现

发布时间:2017-10-17 08:07:00 浏览:635 回帖 :0

这题应该见的不少了,写写记录一下。 实现该功能分析: (1) O(1) 时间完成查找,那除了 hash 别无选择。 (2) LRU 最近最少使用算法,为了方便数据的淘汰。需要对最近访问的数据放未访问数...

算法 HASH list

旭东的博客 发表了文章:

C/C++ 二维数组

发布时间:2017-10-14 18:01:00 浏览:551 回帖 :0

使用C语言用到了二维数组 1 #include 2 #include 3 using namespace std; 4 5 void print_arr_fun1(int arr[]...

malloc void 数组

旭东的博客 发表了文章:

tmux 终端分屏利器使用

发布时间:2017-09-10 13:02:00 浏览:481 回帖 :0

介绍 Tmux 是一个工具,用于在一个终端窗口中运行多个终端会话。 不仅如此,你还可以通过 Tmux 使终端会话运行于后台或是按需接入、断开会话,这个功能非常实用。 很好的工具,记录一下,以后要常用...

linux 脚本

旭东的博客 发表了文章:

计算机中的概念: 视图 VS 镜像

发布时间:2017-09-09 11:21:00 浏览:413 回帖 :0

这两个概念还是不太一样的。下面来说说个人的理解,记录一下。 1. 镜像 镜像可以理解为一份完全一样的拷贝。也就是"深度拷贝",一个复制品。 比如 iso映像文件,ubuntu-12.04.5-desk...

MongoDB 数据库 镜像 容灾 数据统计

旭东的博客 发表了文章:

算法: skiplist 跳跃表代码实现和原理

发布时间:2017-09-03 13:05:00 浏览:505 回帖 :0

SkipList在leveldb以及lucence中都广为使用,是比较高效的数据结构。由于它的代码以及原理实现的简单性,更为人们所接受。 所有操作均从上向下逐层查找,越上层一次next操作跨度越大。其...

算法 node update 数据结构 数据类型 数组

旭东的博客 发表了文章:

算法:快速排序实现 & 定制比较函数

发布时间:2017-08-29 08:00:00 浏览:383 回帖 :0

1. 快速排序基本算法 1 #include 2 const static int NUM = 47; 3 4 int quick_sort(int *a, int start, int...

算法 函数 排序 vb static void

旭东的博客 发表了文章:

Python Configparser模块读取、写入配置文件

发布时间:2017-08-26 13:41:00 浏览:437 回帖 :0

写代码中需要用到读取配置,最近在写python,记录一下。 如下,假设有这样的配置。 [db] db_host=127.0.0.1 db_port=3306 db_user=root...

python 模块 配置 DB open read thread

旭东的博客 发表了文章:

Python collections.OrderedDict解决dict元素顺序问题

发布时间:2017-08-17 08:04:00 浏览:600 回帖 :0

编程中遇到个问题,python json.loads时元素顺序可能会发生变化。 这个对于一些需要使用元素顺序来做一些策略的代码来说是致命的。 在网上查了查,结合自己的知识总结一下。 使用dict时,...

python Json 排序 测试 编程

旭东的博客 发表了文章:

json schema校验

发布时间:2017-08-15 08:14:00 浏览:447 回帖 :0

工作中使用到了json schema格式校验的问题,在网上查了些资料,结合自己的理解记录一下。 json schema可以对json结果字符串做出一些约束,例如: 1. 值类型是:array, obj...

Json 测试 正则表达式 string schema type pattern

旭东的博客 发表了文章:

算法:整数除法上取整

发布时间:2017-08-14 07:53:00 浏览:490 回帖 :0

写代码会遇到整数除法需要上取整的情况。 1. 整数除法的话,可以自己写^_^ 1 #!/bin/bash 2 3 num=101 ##被除数 4 pre=10 ##除数 ...

算法 c++ Bash

旭东的博客 发表了文章:

C/C++ 分支预测(likely unlikely)

发布时间:2017-08-12 10:02:00 浏览:1124 回帖 :0

看一些代码时,会遇到likely unlikely, 查了查网上的资料,结合自己的理解记录一下。 1. 一些概念   指令周期是指执行一条指令所需要的时间,一般由若干个机器周期组成,是从取指令、分...

Cache gcc CPU

旭东的博客 发表了文章:

C/C++ signal 信号处理函数

发布时间:2017-08-07 07:55:00 浏览:412 回帖 :0

软中断信号(signal,又简称为信号)用来通知进程发生了异步事件。进程之间可以互相通过系统调用kill发送软中断信号。 内核也可以因为内部事件而给进程发送信号,通知进程发生了某个事件。 注意,信号只...

函数 void

3
从事互联网开发工作,写博客,记录问题与学习支持,并分析

感兴趣or擅长的领域:

更多>
更多>
zz2019
zz2019
文章:0丨 粉丝:2丨 话题:0
文章:0丨 粉丝:0丨 话题:0
海盐联核
海盐联核
文章:0丨 粉丝:0丨 话题:0
chenyuzheng
chenyuzheng
文章:0丨 粉丝:0丨 话题:0
火只
火只
文章:0丨 粉丝:0丨 话题:0
挨踢叶
挨踢叶
文章:72丨 粉丝:1丨 话题:0