发布时间:2017-12-23 10:53:00 浏览:1097 回帖 :0
最近在做报表统计,跑hadoop任务。 之前也跑过map/reduce但是数据量不大,遇到某些map/reduce执行时间特别长的问题。 执行时间长有几种可能性: 1. 单个map/reduce任务处...
发布时间:2017-12-16 11:06:00 浏览:1950 回帖 :0
编写hadoop任务经常需要用到partition和排序。这里记录一下几个参数。 1. 概念 Partition:分桶过程,用户输出的key经过partition分发到不同的reduce里,因而par...
发布时间:2017-11-28 08:52:00 浏览:865 回帖 :0
正则表达式用的地方是很多的。比如字符串处理过程中。最近遇到记录一下。 1. 比如在shell中 1 #!/bin/bash 2 3 str="date:2017-11-28 os:centos b...
发布时间:2017-11-24 07:51:00 浏览:983 回帖 :0
通常情况做简单的运算,很多命令里面都是支持的。比如for, awk等。 1 #!/bin/bash 2 3 num=0 4 #for循环这里的数字也是运算 5 #也可以使用 seq 0 ...
发布时间:2017-11-23 08:34:00 浏览:976 回帖 :0
新安装的ubuntu,执行shell命令,都怀疑自己的shell水平了。 原来, ubuntu默认的是dash, 需要手动执行命令将dash改为bash. 命令: sudo dpkg-reconfig...
发布时间:2017-11-21 08:07:00 浏览:775 回帖 :0
html中偶尔会使用到列表,记录一下。 1 DOCTYPE html> 2 3 4 5 6 .level_1{li...
发布时间:2017-11-17 08:04:00 浏览:900 回帖 :0
Python感觉是模仿Java, 到处都需要加try..catch...。 这里记录一下用法,方便后续使用。 1 # -*- coding:utf-8 -*- 2 3 import os ...
发布时间:2017-10-29 18:14:00 浏览:647 回帖 :0
用到了html字符串校验,这里记录一下。 1 2 3 4 function on_click(){ 5 ...
发布时间:2017-10-17 08:07:00 浏览:958 回帖 :0
这题应该见的不少了,写写记录一下。 实现该功能分析: (1) O(1) 时间完成查找,那除了 hash 别无选择。 (2) LRU 最近最少使用算法,为了方便数据的淘汰。需要对最近访问的数据放未访问数...
发布时间:2017-10-14 18:01:00 浏览:793 回帖 :0
使用C语言用到了二维数组 1 #include 2 #include 3 using namespace std; 4 5 void print_arr_fun1(int arr[]...
发布时间:2017-09-10 13:02:00 浏览:843 回帖 :0
介绍 Tmux 是一个工具,用于在一个终端窗口中运行多个终端会话。 不仅如此,你还可以通过 Tmux 使终端会话运行于后台或是按需接入、断开会话,这个功能非常实用。 很好的工具,记录一下,以后要常用...
发布时间:2017-09-09 11:21:00 浏览:606 回帖 :0
这两个概念还是不太一样的。下面来说说个人的理解,记录一下。 1. 镜像 镜像可以理解为一份完全一样的拷贝。也就是"深度拷贝",一个复制品。 比如 iso映像文件,ubuntu-12.04.5-desk...
发布时间:2017-09-03 13:05:00 浏览:1025 回帖 :0
SkipList在leveldb以及lucence中都广为使用,是比较高效的数据结构。由于它的代码以及原理实现的简单性,更为人们所接受。 所有操作均从上向下逐层查找,越上层一次next操作跨度越大。其...
发布时间:2017-08-29 08:00:00 浏览:594 回帖 :0
1. 快速排序基本算法 1 #include 2 const static int NUM = 47; 3 4 int quick_sort(int *a, int start, int...
发布时间:2017-08-26 13:41:00 浏览:829 回帖 :0
写代码中需要用到读取配置,最近在写python,记录一下。 如下,假设有这样的配置。 [db] db_host=127.0.0.1 db_port=3306 db_user=root...
发布时间:2017-08-17 08:04:00 浏览:1288 回帖 :0
编程中遇到个问题,python json.loads时元素顺序可能会发生变化。 这个对于一些需要使用元素顺序来做一些策略的代码来说是致命的。 在网上查了查,结合自己的知识总结一下。 使用dict时,...
发布时间:2017-08-15 08:14:00 浏览:921 回帖 :0
工作中使用到了json schema格式校验的问题,在网上查了些资料,结合自己的理解记录一下。 json schema可以对json结果字符串做出一些约束,例如: 1. 值类型是:array, obj...
发布时间:2017-08-14 07:53:00 浏览:724 回帖 :0
写代码会遇到整数除法需要上取整的情况。 1. 整数除法的话,可以自己写^_^ 1 #!/bin/bash 2 3 num=101 ##被除数 4 pre=10 ##除数 ...
发布时间:2017-08-12 10:02:00 浏览:1898 回帖 :0
看一些代码时,会遇到likely unlikely, 查了查网上的资料,结合自己的理解记录一下。 1. 一些概念 指令周期是指执行一条指令所需要的时间,一般由若干个机器周期组成,是从取指令、分...
发布时间:2017-08-07 07:55:00 浏览:834 回帖 :0
软中断信号(signal,又简称为信号)用来通知进程发生了异步事件。进程之间可以互相通过系统调用kill发送软中断信号。 内核也可以因为内部事件而给进程发送信号,通知进程发生了某个事件。 注意,信号只...