1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. L>
  5. linux中pigz

当前主题:linux中pigz

使用tar+lz4/pigz+ssh更快的数据传输

1. 结论 使用tar+lz4+ssh的方式能够获得最大的传输性能: time tar -c sendlog/|pv|lz4 -B4|ssh -c arcfour128 \ -o"MACs umac-64@openssh.com" 10.xxx.xxx.36

阅读全文

使用tar+lz4/pigz+ssh更快的数据传输

1. 结论 使用tar+lz4+ssh的方式能够获得最大的传输性能: time tar -c sendlog/|pv|lz4 -B4|ssh -c arcfour128 \ -o"MACs umac-64@openssh.com" 10.xxx.xxx.36

阅读全文

[20170220]快速拷贝文件在linux磁盘之间

[20170220]快速拷贝文件在linux磁盘之间.txt --上个星期五要将1.3T的文件(每个都很大)从1个磁盘移到另外的磁盘,测试发现cp 根本无法忍受.几乎要8个小时问题感觉出在文件系统 --的cache上,google看了一些连接: 1.首

阅读全文

如何利用多核CPU来加速你的Linux命令 — awk, sed, bzip2, grep, wc等(转)

你是否曾经有过要计算一个非常大的数据(几百GB)的需求?或在里面搜索,或其它操作——一些无法并行的操作。数据专家们,我是在对你们说。你可能有一个4核或更多核的CPU,但我们合适的工具,例如 grep, bzip2, wc, awk, sed等等,都是单线程的,

阅读全文

[20130110]linux传输文件-tar+nc+各种压缩方式.txt

[20130110]linux传输文件-tar+nc+各种压缩方式.txt以前在linux下传输文件,特别一些大文件以及很多小文件,我个人经常喜欢tar+nc的传输方式。实际上很简单:在A机器上执行:tar -cvzf - /data/orcl/use

阅读全文

定制并硬盘安装ArchLinux20120804版

系统初步启动后 -1.硬盘安装模块 准备以下文件: grldr menu.lst archlinux-2012.08.04-dual.iso 内容: #cat menu.lst root (hd0,0) kernel /arch/vmlinuz archiso

阅读全文

使用Vagrant 在Virtual Box 上安装Docker--(补充九步构建自己的hello world Docker镜像)

反思+记录 安装Virtual Box Virtual Box 是和vmware, Hyper-v 一样的虚拟软件。 Virtual Box 下载地址 https://www.virtualbox.org/wiki/Downloads ;因在Windows,

阅读全文

MySQL 运维常用工具&命令

以下列出的是平常工作中用到的小工具和命令 连接 如何不需要密码的登录,直接mysql my.cnf 或者写在 ~/.my.cnf, 相对安全 [mysql] --表示: 只有mysql命令才能免密码 user=root password=123 socket

阅读全文