1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. A>
  5. array_work

当前主题:array_work

array_work相关的博客

90行代码,搞定日志监控框架

上一篇《100行代码,搞定http监控框架》介绍了通用+可扩展的http监控平台的架构: 监控平台层:调度监控项,通过后台管理监控项 信息管理层:通过服务和后台维护集群,告警接收人,告警策略等信息 告警发送层:通过接口发送邮件,短信,微信等消息 创业型公司,

阅读全文

如何使用sklearn优雅地进行数据挖掘?

使用sklearn工具可以方便地进行特征工程和模型训练工作,在《使用sklearn做单机特征工程》中,我们最后留下了一些疑问:特征处理类都有三个方法fit、transform和fit_transform,fit方法居然和模型训练方法fit同名(不光同名,参数

阅读全文

Spark Streaming应该如何消费Kafka?

前言 在项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kafka当中,而在消费者一端,我们利用了spark streaming从kafka中不断拉取数据进行词频统计。本文首先对spark streamin

阅读全文

PostgreSQL 11 参数模板

标签 PostgreSQL , 参数 , 模板 , postgresql.conf , pg_hba.conf , postgresql.auto.conf 背景 系统参数模板 《PostgreSQL on Linux 最佳部署手册 - 珍藏级》 《Postg

阅读全文

MaskRCNN-Benchmark(Pytorch版本)训练自己的数据以及避坑指南

一、安装 地址:MaskRCNN-Benchmark(Pytorch版本) 首先要阅读官网说明的环境要求,**千万不要一股脑直接安装,不然后面程序很有可能会报错!!!** PyTorch 1.0 from a nightly release. It will

阅读全文

从分布式一致性算法到区块链共识机制

引言 分布式一致性是一个很“古典”的话题,即在分布式系统中,如何保证系统内的各个节点之间数据的一致性或能够就某个提案达成一致。这个问题想必对于很多技术同学而言并不陌生,几乎在所有的分布式系统中都会遇到,比如hdfs、mq、zookeeper、kafka、re

阅读全文

PostgreSQL 11 1万亿 tpcb 性能测试 on 阿里云ECS + ESSD + zfs/lvm2条带 + block_size=32K

标签 PostgreSQL , pgbench , tpcb , tpcc , tpch , lvm2 , zfs , 条带 背景 最近的几个PostgreSQL OLTP与OLAP的测试: 《PostgreSQL 11 tpcc 测试(103万tpmC on

阅读全文

Java集合 - List介绍及源码解析

Java集合 - List介绍及源码解析 (源码版本为 JDK 8) 集合类在java.util包中,类型大体可以分为3种:Set、List、Map。 JAVA 集合关系(简图)# 集合.jpg (图片来源网络) List集合和Set集合都是继承Collec

阅读全文

PostgreSQL 快速给指定表每个字段创建索引 - 1

标签 PostgreSQL , 索引 , 所有字段 , 并行创建索引 , max_parallel_maintenance_workers 背景 如何快速给表的所有字段,每个字段都加上索引。 《PostgreSQL 设计优化case - 大宽表任意字段组合查询

阅读全文

PostgreSQL dblink异步调用实践,跑并行多任务 - 例如开N个并行后台任务创建索引, 开N个后台任务跑若干SQL

标签 PostgreSQL , 后台任务 , DBLINK 异步调用 背景 使用DBLINK异步接口,可以非常方便的实现跑后台任务,如果要让数据库执行若干条SQL,开N个并行执行,同样可以使用DBLINK封装成API进行调用。 例如,结合我前面的一些文字,可以

阅读全文

(TPC-H测试 SF=10,SF=200) PostgreSQL 11 vs 10 vs Deepgreen

标签 PostgreSQL , TPC-H , HTAP 背景 去年测的PostgreSQL 10 vs Deepgreen. 《TPC-H测试 - PostgreSQL 10 vs Deepgreen(Greenplum)》 PG每年发一个大版本,此次Pos

阅读全文

Greenplum 6已合并到PostgreSQL 9.3版本 - 比上一代GP提升:8倍读,195倍更新、删除 - 另有大量PG新特性

标签 PostgreSQL , Greenplum , 6 , gin , 异步事务 背景 Greenplum 6已合并到PostgreSQL 9.3版本 - 相比5性能提升:读8倍,更新、删除195倍 - 另有大量PG新特性,详见PostgreSQL rel

阅读全文

PostgreSQL 11 preview - 多阶段并行聚合array_agg, string_agg

标签 PostgreSQL , string_agg , array_agg 背景 并行聚合原理请参考: 《PostgreSQL 10 自定义并行计算聚合函数的原理与实践 - (含array_agg合并多个数组为单个一元数组的例子)》 实际上PostgreSQ

阅读全文

Android中需要了解的数据结构(一)

Java容器类 Java容器类是java提供的工具包,包含了常用的数据结构:集合、链表、队列、栈、数组、映射等。 Java容器主要可以划分为4个部分:List列表、Set集合、Map映射、工具类(Iterator迭代器、Enumeration枚举类、Arra

阅读全文

Android中需要了解的数据结构(一)

Java容器类 Java容器类是java提供的工具包,包含了常用的数据结构:集合、链表、队列、栈、数组、映射等。 Java容器主要可以划分为4个部分:List列表、Set集合、Map映射、工具类(Iterator迭代器、Enumeration枚举类、Array

阅读全文

xttdriver.pl

!/usr/bin/perl $Header: rdbms/demo/rman_xttconvert/xttdriver.pl /main/10 2015/05/18 06:18:23 asathyam Exp $ xttdriver.pl Copyrigh

阅读全文

PHP使用Beanstalkd实例

相关笔记:Beanstalkd消息/任务队列CentOS编译和yum安装Beanstalkd及service和systemctl管理Composer在Windows和Linux的安装和使用 有关Beanstalkd的基本概念,编译和yum的安装方法已经在上述

阅读全文

列式存储系列(一)C-Store

列式存储系列(一)C-Store 序 本文是列式存储系列的第一篇。在这个系列中,我们将介绍几个典型的列式存储系统。这些列式系统的出现都有各自的时代背景。在介绍这些系统的同时,我们也尽量介绍一下它们的背景,以便大家有一个更宏观的认识,理解这个系统为什么会出现,

阅读全文

Flink1.7.2 Dataset 并行计算源码分析

Flink1.7.2 Dataset 并行计算源码分析 概述 了解Flink处理流程(用户程序 -> JobGrapth -> ExecutionGraph -> JobVertex -> ExecutionVertex -> 并行度 -> Task(Dat

阅读全文

Flink 1.7.2 业务时间戳分析流式数据源码分析

Flink 1.7.2 业务时间戳分析流式数据源码分析 源码 https://github.com/opensourceteams/flink-maven-scala 概述 由于Flink默认的ProcessTime是按Window收到Source发射过来的

阅读全文

52