Spark on yarn 动态资源配置

发布时间：2017-04-14 15:31:44 浏览：1639 回帖 ：0

大数据 配置 spark service

史上最难抢票年，聊聊春运背后的数据库设计难点与思考

发布时间：2017-01-04 19:42:47 参与人数：152

马上春节了，听说今年是史上最难抢票年，一票难求的问题依旧存在，身为程序猿的你有没有什么技术抢票的高招？ 还记得10年前春节前买火车票得在放票前1天搬个小板凳去排队，对于热门路线，排一个晚上都有可能买...

话题奖品：

淘公仔1个

定制笔记本1个

程序员礼盒2个

已结束

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。

发布时间：2016-12-07 09:00:00 浏览：938 回帖 ：2

我的博客即将入驻“云栖社区”，诚邀技术同仁一同入驻。 $(function () { $('pre....

云栖社区 code

《Vertica的这些事》系列文章

发布时间：2016-11-03 13:18:00 浏览：2191 回帖 ：0

HPVertica是一款MPP数据库，其列式存储对于OLAP分析很方便。 HPE Vertica is the most advanced SQL database an...

hadoop 函数 加密 Oracle SQL 数据库 code 存储

Vertica的这些事<十五>—— Vertica备份元数据信息

发布时间：2016-11-01 17:01:00 浏览：1011 回帖 ：0

—备份资源池 SELECT 'CREATE RESOURCE POOL ' || name || CASE WHEN memorysize ...

BY schema Create

Linux系统Shell if语句用法小结

发布时间：2016-11-01 11:39:00 浏览：1046 回帖 ：0

1、字符串判断 str1 = str2　　　　　　当两个串有相同内容、长度时为真 str1 != str2　　　　　 当串str1和str2不等时为真 -n str...

linux shell file Commit FreeBSD Solaris

Vertica的这些事<七>—— Vertica中实现Oracle中的ws_concat功能

发布时间：2016-10-26 18:55:00 浏览：1396 回帖 ：0

vertica中没有类似Oracle中的ws_concat函数功能，需要开发UDF，自己对C++不熟悉，所有只有想其他方法解决了。 上代码： SELECT node_st...

函数 Oracle c++ BY

Vertica的这些事<十一>—— Vertica 管理

发布时间：2016-10-13 19:19:00 浏览：1066 回帖 ：0

1、版本信息 dbadmin=> SELECT version(); version ---------...

数据存储与数据库

Linux crontab命令详解

发布时间：2016-09-23 11:51:00 浏览：929 回帖 ：0

基本格式 : *　　*　　*　　*　　*　　command 分　时　日　月　周　命令 第1列表示分钟1～59 每分钟用或者 /1表示 第2列表示小时1～23...

linux Apache file lighttpd

Vertica的这些事<十>—— vertica中group by 和join 语句的优化

发布时间：2016-09-22 19:31:00 浏览：1369 回帖 ：0

vertica group by优化语句，先对语句进行explain 操作查看预执行计划，其中group by 分为 GROUPBY PIPELINED 和 GROUPBY...

排序 BY HASH Create Group

Vertica的这些事<十三>—— Vertica停止数据库的操作步骤

发布时间：2016-09-13 12:05:00 浏览：1254 回帖 ：0

1、查看各个节点的状态，保证没有节点出现down状态 select * from nodes; 2、设置最大会话数 => SELECT CURRENT_VALUE...

数据库 code database

Vertica的这些事<九>—— 关于vertica的Connection Failover

发布时间：2016-08-23 17:42:00 浏览：1452 回帖 ：0

最近在生产中发现vertica有个别节点老是宕机（又碰到的童鞋交流下），实际业务中有Python通过odbc连接vertica，还有Java通过jdbc连接vertica。假如你...

node 负载均衡 JDBC Driver PUT database

hive数据迁移

发布时间：2016-08-22 15:31:00 浏览：4795 回帖 ：0

比如需要把生产的hive集群数据迁移到另一个集群，hive提供了2个命令工具，可以实现表的批量迁移。 [export/import] 设置默认需要导出的hive数据库 在...

hdfs hadoop SQL 数据库 集群 数据迁移 脚本 Hive test PUT sed

Spark的这些事<三>——spark常用的Transformations 和Actions

发布时间：2016-08-17 19:58:00 浏览：1527 回帖 ：0

Transformations map，filter spark最长用的两个Transformations：map，filter，下面就来介绍一下这两个。 先看下面这张图：...

函数 reduce spark scala aggregate list monkey

Spark的这些事<二>——几个概念

发布时间：2016-08-12 12:59:00 浏览：1148 回帖 ：0

1、SparkContext [经常简称为 sc] spark app 的起点和入口，一般用来加载数据集，生成第一个 rdd。 2、定义一个 spark 应用程序所需要的...

函数 数据库 spark 开发环境

Vertica的这些事<四>—— VSQL常用命令

发布时间：2016-08-09 15:51:00 浏览：2555 回帖 ：0

Linux环境下，一般都是使用vsql客户端连接vertica来执行命令的，下面就介绍一下vsql常用的命令有哪些。 导出数据 /opt/vertica/bin/vsql...

SQL test

Vertica的这些事<六>—— SQL Server、Oracle、MySQL和Vertica数据库常用函数对比

发布时间：2016-08-08 17:59:00 浏览：1862 回帖 ：0

SQL Server、Oracle、MySQL和Vertica数据库常用函数对比 Vertica数据库是HP公司新收购的用于BI方面的数据库。 绝对值 S:select ...

mysql 函数 Oracle SQL LOG 数据库 Server 空格

Vertica的这些事<八>—— vertica加密数据

发布时间：2016-08-08 17:34:00 浏览：1042 回帖 ：0

通过创建 Secure Access Policies可以对vertica中的某一列数据进行加密： CREATE ACCESS POLICY ON [schema][tab...

加密 schema Create Access